![779189ee5ad0d5ec96d0a65ae14c0187.png](https://i-blog.csdnimg.cn/blog_migrate/18bd0c6fd62d2b8154f2362fca7c07dd.jpeg)
![2f55f40502a82e214d1efad59e125979.png](https://i-blog.csdnimg.cn/blog_migrate/11f3158c080f32bbe3102fc68d9214be.jpeg)
论文地址:[1501.00092] Image Super-Resolution Using Deep Convolutional Networks
代码地址:tensorflow版源码
解析目录:图像超分辨-SRCNN(目录)
网络结构
![63f904548e52cac48ad7675008409a17.png](https://i-blog.csdnimg.cn/blog_migrate/b0e85d5d90113b6a0aa595779d778e7a.jpeg)
- 第一层CNN:对输入图片的特征提取。(9 x 9 x 64卷积核)
- 第二层CNN:对第一层提取的特征的非线性映射(1 x 1 x 32卷积核)
- 第三层CNN:对映射后的特征进行重建,生成高分辨率图像(5 x 5 x 1卷积核)。
设计思路
作者这个思路是从稀疏编码得来的,并把上述过程分别表述为:Patch extraction, Non-linear mapping, Reconstruction。
- Patch extraction: 提取图像Patch,进行卷积提取特征,类似于稀疏编码中的将图像patch映射到低分辨率字典中
![a25b748fc0b197a4be1047a422eeb6bd.png](https://i-blog.csdnimg.cn/blog_migrate/5023b39c772f3c0519d532a49e793a65.png)
- Non-linear mapping: 将低分辨率的特征映射为高分辨率特征,类似于字典学习中的找到图像patch对应的高分辨字典
![8145145d76a653e4a2cb0484b4870df9.png](https://i-blog.csdnimg.cn/blog_migrate/2e2f172bd3fd8d0b90cb8e3f2b865b74.png)
- Reconstruction:根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建
![ac3dfa96382de7c28f960bbf3cc77cfc.png](https://i-blog.csdnimg.cn/blog_migrate/4dd15aa70998143ac5d9a60a92d8c151.png)
![29686aa335deada259a8fc901375df5e.png](https://i-blog.csdnimg.cn/blog_migrate/eb5990e6e171b1460c1db0b5140b7e71.jpeg)
评价指标
PSNR: Peak Signal to Noise Ratio(峰值信噪比)
![20124a1ba2311e35f948fd9f269494ce.png](https://i-blog.csdnimg.cn/blog_migrate/86f344ac9faa08c53eeee2e37ee8cb8f.jpeg)
原始图像与其评估版本(噪声强度)之间图像(信号强度)可能的最大像素值与最大均方误差(MSE)的对数比率。PSNR 值越大,重建效果越好
import numpy
import math
def psnr(img1, img2):
mse = numpy.mean( (img1 - img2) ** 2 )
if mse == 0:
return 100
PIXEL_MAX = 255.0
return 20 * math.log10(PIXEL_MAX / math.sqrt(mse))
为什么只训练YCbCr的Y通道?
图像被转化为 YCbCr 色彩空间,尽管该网络只使用亮度通道(Y)。然后,网络的输出合并已插值的 CbCr 通道,输出最终彩色图像。我们选择这一步骤是因为我们感兴趣的不是颜色变化(存储在 CbCr 通道中的信息)而只是其亮度(Y 通道);根本原因在于相较于色差,人类视觉对亮度变化更为敏感。
- mse损失有缺点,以后论文的改进方向
- 更加复杂的网络结构
参考:
深度学习在单图像超分辨率上的应用:SRCNN、Perceptual loss、SRResNetai.51cto.com![d81b7ad590b4204bc1ad62582e65222e.png](https://i-blog.csdnimg.cn/blog_migrate/f7d30cb7c3c9d6a6a1c1a1297fd2f45e.jpeg)
![983a79ed128469006f1ce6e77e781684.png](https://i-blog.csdnimg.cn/blog_migrate/3e5dd7f9f05e8ac2193a2b061b2e0f3e.jpeg)