论文阅读 | Learning Event-Driven Video Deblurring and Interpolation

最新推荐文章于 2024-05-21 09:31:27 发布

btee

最新推荐文章于 2024-05-21 09:31:27 发布

阅读量212

点赞数

文章标签：论文阅读网络人工智能

本文链接：https://blog.csdn.net/bettii/article/details/128447339

版权

前言：利用事件相机作的视频去糊和视频插帧文章，发表在ECCV2020
论文地址：【here】

Learning Event-Driven Video Deblurring and Interpolation

引言

目前去糊的方法没有办法解决特别糊的情况，因此可以利用一种低时延的新型相机解决特别糊的图片的去糊问题
目前主要有两种方法：

第一种pan等人的传统方法（CVPR2019），通过优化的思想还原出阈值C，但是这种方法假设阈值是固定的，但其实阈值由于硬件设备和和环境影响并不一定是固定的
比如：作者对下图的示例估计了全局的阈值，并不是一样的
在这里插入图片描述
第二种是Jiang等人提出的基于CNN的去糊方法（CVPR2020），这种方法网络架构大，并且去糊和细化是分开的，效果一般

本人提出了一个生成高速视频的方法，用动态滤波器的思想解决了全局阈值自适应的问题

方法动机

这一部分作者通过阐释了事件相机的原理，利用残差的思想推出，两张清晰帧与中间事件点之间的关系和模糊帧和清晰帧与事件点的关系
两张清晰帧与中间事件点之间的关系
在这里插入图片描述
模糊帧和清晰帧与事件点的关系
由于模糊帧可以看成一段时间内的清晰帧的积分，这里直接平均

各个清晰帧之间由可以由事件点关联起来
即模糊帧和清晰帧与事件点的关系

网络设计

在这里插入图片描述
从左自右依次是四个部分，残差估计、关键帧去糊、插帧、帧融合
残差估计
由模糊帧、事件点、和上一时刻阶段i-1求出的清晰帧作为输入，到网络integralNet

其中主网络的输入还是有事件点拍成的图片作输入，但是粗尺度下的动态滤波器的生成，由三个输入共同决定
在这里插入图片描述
残差估计一共出三个残差，其中两个残差作为去糊残差，一个残差作为插帧残差