opencvsharp 为什么降低图像的分辨率_图像超分辨-SRCNN（论文解读）

论文地址：[1501.00092] Image Super-Resolution Using Deep Convolutional Networks

代码地址：tensorflow版源码

解析目录：图像超分辨-SRCNN（目录）

---

网络结构

• 第一层CNN：对输入图片的特征提取。（9 x 9 x 64卷积核）
• 第二层CNN：对第一层提取的特征的非线性映射（1 x 1 x 32卷积核）
• 第三层CNN：对映射后的特征进行重建，生成高分辨率图像（5 x 5 x 1卷积核）。

---

设计思路
作者这个思路是从稀疏编码得来的，并把上述过程分别表述为：Patch extraction, Non-linear mapping, Reconstruction。

• Patch extraction: 提取图像Patch，进行卷积提取特征，类似于稀疏编码中的将图像patch映射到低分辨率字典中

• Non-linear mapping: 将低分辨率的特征映射为高分辨率特征，类似于字典学习中的找到图像patch对应的高分辨字典

• Reconstruction：根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建

---

评价指标

PSNR: Peak Signal to Noise Ratio（峰值信噪比）

原始图像与其评估版本(噪声强度)之间图像(信号强度)可能的最大像素值与最大均方误差(MSE)的对数比率。PSNR 值越大，重建效果越好

import numpy
import math

def psnr(img1, img2):
    mse = numpy.mean( (img1 - img2) ** 2 )
    if mse == 0:
        return 100
    PIXEL_MAX = 255.0
    return 20 * math.log10(PIXEL_MAX / math.sqrt(mse))

---

为什么只训练YCbCr的Y通道？

图像被转化为 YCbCr 色彩空间，尽管该网络只使用亮度通道(Y)。然后，网络的输出合并已插值的 CbCr 通道，输出最终彩色图像。我们选择这一步骤是因为我们感兴趣的不是颜色变化(存储在 CbCr 通道中的信息)而只是其亮度(Y 通道);根本原因在于相较于色差，人类视觉对亮度变化更为敏感。

---

• mse损失有缺点，以后论文的改进方向
• 更加复杂的网络结构

参考：

深度学习在单图像超分辨率上的应用：SRCNN、Perceptual loss、SRResNet​ai.51cto.com

深度学习超分辨开山之作SRCNN​www.jianshu.com