A Motion Deblurring Network for Enhancing UAV Image Quality in Bridge Inspection[阅读笔记]

A Motion Deblurring Network for Enhancing UAV Image
Quality in Bridge Inspection
一种提高无人机桥梁检测图像质量的运动去模糊网络
研究背景：
基于无人机的设施安全检测，基于视觉识别和量化设施外部的结构缺陷，图像质量影响检测的质量
存在的问题：
无人机操作过程，由于振动，弱光和风等影响，引起运动模糊降低图像质量
本研究的意义：
1.解决模糊图像的技术
无人机速度的控制，相机振动控制和好的光照条件，本研究通过图像处理而不是通过硬件，目前模糊图像的获得通过组合连续帧来合成，实际模糊与合成模糊具有差异，本研究把学习去模糊的模块和学习模糊特征的模块连接起来，验证了适用性。
2.提出的运动去模糊网络（无人机桥梁检测中运动模糊问题）
目标：对桥梁损伤进行评估；问题：模糊图像无法评估；所以需要降低模糊提高巡检质量，运动模糊图像是图像采集中经常出现的一个具有挑战性和不确定性的问题，相机的振动和高速物体的运动是图像采集过程引起模糊的两个主要来源，外界环境的变化，比如风也会影响图像的采集。示意图如下：

原始图像和运动模糊图像
模糊图像的建模过程：
B=K*L+N
其中，K、L、N分别表示模糊核；清晰图像和加性噪声；如高斯白噪声
目前去模糊存在的问题：通过输入模糊图像估计K和L，存在解决方案很多，不准确，需要先验知识，如果缺乏这种知识会造成去模糊过程中的不确定性；比如相机变化，运动速度的不同等产生的模糊图像差异很大，因此使用GAN
基于改进标准GAN的运动去模糊网络：
网络改进：包含两个部分：模糊图像生成（与现实接近的模糊图像）与模糊图像复原（和已有的一致）
所提出的运动去模糊网络的结构（右侧）/ 模型主要改进点，使用两次
该方法中的鉴别器和生成器不仅仅是为了增加输入数据被认为是真实的概率和生成的数据看起来是真实的概率而训练的。
相反，他们的目标是评估给定的真实图像是否优于生成的图像在现实地描绘模糊。在训练阶段，提供清晰图像作为模糊学习模块的输入，然后将结果馈送到去模糊学习模块进行训练。两个模块的生成器生成相应的图像，而鉴别器生成更精细的合成图像。
就是说，一般输入的是模糊的图像，这个模块是把这个网络用了两次，输出再次作为输入！！！
骨架的改进：这个地方这篇文章没有进行改进，接下来可以考虑换成backbone，比如shuffnet，MobileNet
损失函数改进：（可以考虑在这个地方进行修改）
在训练阶段，模糊学习模块和去模糊学习模块的损失函数由它们各自的权值相乘得到

3.实验与讨论
3.1无人机采集桥梁图像，1100张模糊图像中900训练，100验证，100测试
介绍了采集场景+采集设备+相机和无人机飞行速度等参数设置

3.2介绍了训练细节（可以考虑对学习率的方式进行改进，指数衰减等）
图像增强（水平垂直翻转）+不同的照明条件+权值初始化（均值0，标准差0.01高斯分布）+学习率采用余弦退火调整学习率（10-4到10-6，原文是线性）+加权权重分别调整为0.05和0.001
3.3实验结果与IQA
测试了100张图片

对图像质量进行评价：100个图像的平均值
当使用BRISQUE比较质量时，所提出的基于多模块的去模糊模型的质量提高了大约36.6%。此外，NIQE评价结果也显示质量分数提高了约37.68%。最后，基于lbms的模糊图像质量评估显示了大约33.99%的增强效果，证实了早期使用的运动去模糊网络可以提高图像质量。

4.目标检测中去模糊效果的验证
1.对图像进行添加模糊噪声（数据集1）
2.对图像进行去模糊增强处理（数据集2）
分别对数据集进行测试，
增强后的数据集，显著高于未增强的数据集