网络通道数2的倍数_利用双通道卷积神经网络的图像超分辨率算法

发布时间: 2016-05-25

摘要点击次数: 288

全文下载次数: 39

DOI: 10.11834/jig.20160503

2016 | Volumn 21 | Number 5

图像处理和编码

利用双通道卷积神经网络的图像超分辨率算法

徐冉

, 张俊格

, 黄凯奇

中国科学院自动化研究所智能感知与计算研究中心, 北京 100190

;

收稿日期: 2015-11-26; 修回日期: 2016-01-11

基金项目: 国家重点基础研究发展计划(973)基金项目(2012CB316302);国家自然科学基金项目(61322209,61175007)

第一作者简介: 徐冉(1992-),男,2013年于中国科学院自动化研究所模式识别实验室攻读硕士学位,主要研究方向为图像处理、图像超分辨率。E-mail:ran.xu@nlpr.ia.ac.cn

中图法分类号: TP391

文献标识码: A

文章编号: 1006-8961(2016)05-556-09

摘要

目的

图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。

方法

首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。

结果

本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。

结论

本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。

关键词

图像超分辨率, Pair-wise卷积神经网络, 双通道卷积神经网络, 图像块相似度学习,

Image super-resolution using two-channel convolutional neural networks

Xu Ran

, Zhang Junge

, Huang Kaiqi

Center for Research on Intelligent Perception and Computing(CRIPAC), Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China

;

Supported by: National Basic Research Program of China (2012CB316302); National Natural Science Foundation of China (61322209, 61175007)

Abstract

Objective

All traditional example-based super-resolution methods adopt image-gradient features for low-resolution images and thus, these methods are unable to characterize the low-resolution space satisfactorily. To address this issue, this paper proposes a novel unified framework for image super-resolution that effectively combines example-based method with deep learning models.

Method

The proposed method consists of three main stages:low- and high-resolution similarity-learning, high-resolution patch-dictionary-learning, and high-resolution patch-generating stages. At the first stage, two different convolutional neural networks are proposed for learning a novel similarity metric between high- and low-resolution image patches. At the second stage, the high-resolution patch dictionaries are learned from training sets. At the last stage, the high-resolution patches are generated based on learned similarities between the input low-resolution patch and the atoms in the high-resolution patch dictionary.

Result

Experimental results on several commonly adopted datasets show that the proposed two-channel model quantitatively and qualitatively achieves improved performance compared with other methods.

Conclusion

The proposed two-channel model can preserve more detailed information and reduce ringing artifacts in the resulting images.

Key words

image super resolution, Pair-wise convolutional neural networks, two-channel convolutional neural networks, patch similarity learning,

0 引 言

图像超分辨率增强是指根据输入的一幅或多幅低分辨率图像重构出一幅具有更高分辨率图像的过程。由于高分辨率图像中包含有更多的细节信息，图像超分辨率增强技术在视频监控、医学成像、遥感卫星成像等各个领域有着广泛的应用。然而由于根据有限的输入信息重构出具有更多信息图像的过程是一个典型的病态反过程，图像超分辨率增强始终是一个极具挑战的任务。

现有的超分辨率算法可以分为三大类：基于插值[、基于重建[以及基于样本[的方法。其中基于样本的方法因其有着较好的实现效果是近些年来研究的热点。这类方法的主要思想是从一个额外的样本集中根据输入低分辨率图像的特征搜索产生对应的高分辨率图像。低分辨率图像与高分辨率图像本质上处于两个不同的数据空间，而超分辨率增强任务实质上是在提供低分辨率空间数据的前提下尽可能准确地产生出其在高分辨率空间中的对应图像。因此如何准确有效地对这两个空间之间存在的复杂关系进行建模是超分辨率增强任务的关键所在。传统的基于样本学习的方法主要从两种思路解决该问题:一是直接利用样本学习到两个空间之间的映射关系，二是将两个空间中的数据通过不同的映射函数映射到同一个特征空间。Hong等人[提出邻域嵌入(neighbor embedding)算法利用局部线性嵌入理论来解决超分辨率问题。该算法假设低分辨率图像块与高分辨率图像块形成的流形空间具有相似的局部几何形状，对于输入的低分辨率图像块，根据其在K个最近邻低分辨率图像块上的重构系数产生出对应的高分辨率图像块。为了解决邻域嵌入算法中存在的字典尺寸过大问题，Yang等人[提出了基于稀疏表示的超分辨率增强算法，该算法首先通过训练样本学习得到一对低分辨率与高分辨率图像块字典，接着对于输入的低分辨率图像块，首先求得到其在低分辨率图像块字典下的稀疏表示系数，然后利用该系数直接与高分辨率图像块字典相乘产生对应的高分辨率图像块。该算法中学习到的低分辨率与高分辨率图像块字典