Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring (CVPR)

最新推荐文章于 2025-05-19 01:00:00 发布

Dvw.

最新推荐文章于 2025-05-19 01:00:00 发布

阅读量676

点赞数 8

分类专栏：计算机视觉文章标签：计算机视觉人工智能深度学习

本文链接：https://blog.csdn.net/qq_40763274/article/details/147434375

版权

计算机视觉专栏收录该内容

2 篇文章

订阅专栏

针对盲运动去模糊的运动自适应可分离协同滤波器

针对盲运动去模糊的运动自适应可分离协同滤波器

论文：CVPR 2024 Open Access Repository

代码：https://github.com/ChengxuLiu/MISCFilter

Background

在消除由各种运动引起的图像模糊任务中，现有主流方法多依赖强大的模型能力，在特征空间中从模糊观测中重建残差来去除模糊（Blur和Sharp之间的建模）。这种做法难以捕捉现实场景中空间可变的运动模糊（现实场景），也忽视了针对不同运动类型在图像空间中进行差异化处理（不同类型存在差异）的需求。

Significance

空间可变运动建模：真实场景中的运动模糊往往在空间上不均匀，传统“一刀切”式的方法难以应对。
图像空间定制化处理：在图像空间中直接针对不同运动模式进行过滤，更有利于恢复细节和纹理。
通用性与实用性：提高算法对复杂、混合运动模糊的适应能力，对实际应用场景（如手持拍摄、行车记录）具有重要意义。

Contribution

引入运动估计网络，从局部邻域提取运动信息，预测空间可变的运动流、掩码、滤波核、权重和偏移量。
Motion-adaptive Separable Collaborative Filter (MISC)（运动自适应可分离协同滤波器）

协同滤波：利用预测的可分滤波核、权重和偏移，对对齐图像进行加权滤波，生成清晰输出。

对齐步骤：沿预测的运动方向，将模糊图像中的运动模糊模式对齐至“运动中点”。

Introduction

针对图像去模糊方法分为两种范式：

1）增强模型重建残差能力（多尺度监督学习、对抗学习、注意力机制等）。

but: 解释性差、难以应对多变、大尺度模糊。

2）学习运动模糊内核或先验，引导残差重建（运动模糊概率分布、模糊场等）。

but: 缺乏运动模糊类型的定制化处理、现实场景多种因素影响预估准确性。

结论：在图像空间中直接对模糊图像中的复杂模糊进行处理可以进一步改善图像质量。

在图像空间中重建高质量图像通常设计多种滤波算子：

（a）原始滤波器：手工固定算子大小对整张图像进行处理

限制了在远距离和关键像素特征上捕捉运动的能力

（b）（c）可变形滤波器与空间可变滤波器：分别添加空间偏移量和权重

（d）MISC滤波器：整合了以上滤波器的优点，提供捕捉各种复杂运动的能力

滤波算子用于低级恢复任务具有较高的通用性和潜力

Approach

给定模糊输入，使用运动估计网络来获取MISC过滤器。将MISC滤波器滤波后的图像与重建网络的图像残差结合得到清晰图像（第二种范式的区别是该滤波器直接处理图像空间，而不是特征空间）

逆问题

$I_{i n}=k * I_{G T}+\tilde{n},$

解决模糊核k的逆问题

Network Coupling Strategies 网络解耦策略

（Residual Reconstruction Network, Motion Estimation Network）

由于滤波和残差重建是完全独立的，因此有必要对它们的执行顺序进行分析。
因此，采用不同的耦合策略来分析其之间的关系，试图以最小的模型尺寸最大化模型效果。

构建了五种解耦策略：

基于并行(图(a)和(b))，其中两个网络的特征学习是完全独立的。
基于半并行的(图(c)和(d))，其中一个的输出作为潜在编码馈送到另一个。
基于串行的(图(g)和(h))，其中一个网络的输出作为另一个网络的输入。
半共享的(图(e)和(f))，其中两个网络中的编码器是共享的。
基于共享(图(i)和(j))，其中两个网络共享相同的编码器-解码器结构和参数。

实验结果表明图(i)的策略效果是最好的

方法中有以下几点：

整体思路：输入的模糊图像经过运动估计网络与残差重建网络得到F和I ----- F经过流估计和掩码估计来估计模糊图像的运动起点和中间到清晰图像的中间位置的运动场并使用调制机制来优化双向像素合成 ----- 使用bi-directional warping（backward warping）得到对齐后的图像和特征 ----- 利用对齐后的特征得到偏移、权重和核参数，对对齐后的图像进行滤波。

1、流估计得到的特征尺度为2×H×W，为运动流方向

2、掩码估计得到一个0-1的2D掩码（Sigmoid）

3、权重估计使用Softmax得到0-1的权重

4、核估计得到的并不是一个2D核算子，而是得到两个n×H×W的向量，分别代表横向和纵向算子，最后进行矩阵乘来得到最终的2D算子（减少参数量）