在弱光条件下使用辅助卷积神经网络和可见光图像的红外图像超分辨率

这篇文章是图像的融合，可见光和红外图像的融合，很有研究价值，应用了CNN，双输入网络，很赞，打算有时间了细细研究一番。本文和识别检测都没有关系，个人认为这个方向很新颖。

题目：Infrared image super-resolution using auxiliary convolutional neural

摘要：卷积神经网络已经成功的应用与可见光图像超分辨率方法。在这篇文章中，我们提出了一种基于CNN的超分辨率算法，使用对应的可见光图片并将该法扩展到弱光条件下的近红外图片中。我们的算法首先从扩展到的低分辨率的近红外图片中提取高频组件，然后将它们作为CNN 的多输入。接下来，CNN输出近红外输入图片的高分辨高频组件。最后，一张高分辨率近红外图片综合了高分辨率高频组件和低分辨率近红外图片。仿真结果显示无论是在质量上还是数量上，提出的方法效果优于最新的方法。

1.引言

随着红外传感技术的发展，红外图片的应用领域也随之拓宽。红外图片最普遍的应用在军事和安全方面，使用这一技术来监视敌人和提前检测或移除隐藏的爆炸物。另外，著名的Microsoft Kinect 就是应用红外传感器的典型例子。kinect通过将特定的红外点图案投影到对象上并分析点图案的特征来提供深度信息和骨架跟踪。最近，红外成像在自动驾驶汽车领域越来越重要，未来的移动产业可能是一个大市场。不幸的是，在夜间照明条件不好的条件下，只依靠可见光图片很难识别目标。因此，基于目标识别的红外图片更利于驾驶员夜间行车。

尽管红外技术越来越重要，红外图片的分辨率通常比拥有红外传感器有限属性的可见光图片低。另外，红外图片的边缘经常会有模糊的现象。因此，有很多方法来提高红外图片的视觉效果，比如超分辨率，该技术已经被应用。

值得注意的是红外图片在照明条件差的形况下比照明条件好的形况下更有效果。但是，能提供超分辨率红外图片的设备造价更高。因此，一个有效的高分辨率技术就要求由低分辨率的红外图片生成高分辨率红外图片。举个例子，赵学者提出了一个重建模型---基于稀疏表示的超分辨率图片。虽然，只使用红外图片仅有有限的提高。

与此同时，结合可见光图片获得红外图片的方法多种多样，低分辨红外图片融合可见光图片生成想要的红外图片的方法已经被提出。介绍了若干融合生成法。

2.相关工作

3.提出算法

3.1高频特征提取

3.2 CNN结构

3.2.1 基本网络结构

 

 

3.2.2 附属网络结构

 

3.3 CNN 学习过程

4.实验结果

1.照明条件好的情况

 

 

 

 

2.照明条件差的情况

4.1 数据集

4.2 实现细节

4.3 评估方法

4.4 评估结果

4.5 网络结构评估

4.6 数据增加

5. 总结