Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks(利用空间变化循环神经网络对动态场景去模糊)
这是CVPR2018的一篇论文,主要介绍的是单图去动态模糊,
概述&提出方法
由于相机抖动,景深和物体运动,动态场景去模糊是空间变化的。已有的利用先验图像信息或者庞大的深度神经网络的方法无法有效地处理这个问题,同时他们计算开销很大。与已有的方法不同,作者提出一个空间变化的神经网络来解决动态场景去模糊。作者提出的算法包含了三个卷积神经网络和一个循环卷积神经网络。其中卷积神经网络用来提取特征,学习循环卷积神经网络的系数和图像重建。在卷积神经网络抽取的特征指引下,循环卷积神经网络恢复出清晰的图像。作者的分析表明,该算法具有较大的接受范围,同时模型尺寸较小。与此同时,本文分析了空间变化循环卷积网路和反卷积的关系。分析表明空间变化循环卷积网络能够对反卷积建模。作者以端到端训练的方式,提出一个较小的深度学习模型,其速度优于已有的方法。在标准数据库上定量和定性的评估表明该方法在精度,速度和模型大小方面优于已有的方法。
问题
目前去模糊的方法主要存在如下的问题,首先CNN的权重是空间不变的,这样就不能对具有很强动态性的各种blur进行消除。其次就是即使模糊区域很小,也需要较大的感受野,造成计算资源浪费。因此,这里提出使用RNN进行deconv的操作,而RNN的权重是通过CNN学习得到的,这样就可以针对不同的模糊deblur。
论文首先