《Multi-Frame Video Super-Resolution Using Convolution Neural Networks》 读书笔记

论文地址

MSE定义

MSE(Y^,Y)=1213HWi=1Hj=1wk=13(Y^ijkYijk)2

PSRN定义

PSRN(Y^,Y)=20log(s)10logMSE(Y^,Y)

s为像素最大可能值

SSIM定义

SSIM(Y^,Y)=(2μY^μY+c1)(2σY^Y+c2)(μY^2+μY2+c1)(σY^2+σY2+c2)

s为像素最大可能值,μYY的均值,σY2为方差,σY^Y为协方差,c1,c2分别为0.01s2,0.03s2

在该片论文中,选择SSIM对模型进行好坏的评价。

框架

网络结构

为了保证能够对任意大小的图像进行super-resolution,在网络结构上使用了全卷积(Full Convolution)。
在输入前使用双三次插值(bicubic interpolation)进行上采样(upsample).在网络中保持图像大小不变。
使用了9层layer,且均使用relu function,同时在训练过程中dropout。
对于每个权重矩阵(weigte matrix),均进行L2 正则化(L2 regularization)。L2 正则化通过在损失函数中增加一些超参数与权重矩阵的MSE的乘积,来限制权重的大小。
以下为L2 正则化的公式:

L2(W)=λW22

relu函数公式:
relu(x)=max(0,x)

dropout 公式:
Dropout(x,p)={x,with prob.p0,with prob.1p

训练算法

在论文中,使用了Momentum和Adam两种更新算法。两种更新算法的在此不表。

超参数

k为层数,在这里k=9
ni代表第i层的神经元(neuron)个数,
fi为第i层卷积核大小

其中fi[1,11],ni{8,16,32,64,96}
根据机器性能设定上界。
在output layer 中 nk=3,保证为RGB三通道。
学习率(learning rate),正则化参数(regularization strength),丢弃参数(dropout parameter)在此不表

权重初始化

在此不表

单帧与多帧CNN对比

文章中训练了两种不同类型的模型,一种为单帧CNN(SICNN)和多帧CNN(MFCNN)。在SICNN中,文章严格按照上文所述的结构进行建模。而在MFCNN中,文章对模型进行了一定的调整,使得它能够不仅仅参考当前帧,还能参考当前帧的附近d帧。在文章中,MFCNN将临近的2d+1帧堆叠起来对当前帧进行预测。

©️2020 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值