论文地址
MSE M S E 定义
PSRN P S R N 定义
s s 为像素最大可能值
定义
s s 为像素最大可能值,为 Y Y 的均值,为方差, σY^Y σ Y ^ Y 为协方差, c1,c2 c 1 , c 2 分别为 0.01s2,0.03s2 0.01 s 2 , 0.03 s 2
在该片论文中,选择 SSIM S S I M 对模型进行好坏的评价。
框架
网络结构
为了保证能够对任意大小的图像进行super-resolution,在网络结构上使用了全卷积(Full Convolution)。
在输入前使用双三次插值(bicubic interpolation)进行上采样(upsample).在网络中保持图像大小不变。
使用了9层layer,且均使用relu function,同时在训练过程中dropout。
对于每个权重矩阵(weigte matrix),均进行L2 正则化(L2 regularization)。L2 正则化通过在损失函数中增加一些超参数与权重矩阵的MSE的乘积,来限制权重的大小。
以下为L2 正则化的公式:
relu函数公式:
dropout 公式:
训练算法
在论文中,使用了Momentum和Adam两种更新算法。两种更新算法的在此不表。
超参数
k
k
为层数,在这里
ni
n
i
代表第i层的神经元(neuron)个数,
fi
f
i
为第i层卷积核大小
其中
fi∈[1,11],ni∈{8,16,32,64,96}
f
i
∈
[
1
,
11
]
,
n
i
∈
{
8
,
16
,
32
,
64
,
96
}
根据机器性能设定上界。
在output layer 中
nk=3
n
k
=
3
,保证为RGB三通道。
学习率(learning rate),正则化参数(regularization strength),丢弃参数(dropout parameter)在此不表
权重初始化
在此不表
单帧与多帧CNN对比
文章中训练了两种不同类型的模型,一种为单帧CNN(SICNN)和多帧CNN(MFCNN)。在SICNN中,文章严格按照上文所述的结构进行建模。而在MFCNN中,文章对模型进行了一定的调整,使得它能够不仅仅参考当前帧,还能参考当前帧的附近d帧。在文章中,MFCNN将临近的 2∗d+1 2 ∗ d + 1 帧堆叠起来对当前帧进行预测。