重读DRRN(深度递归残差网络)

本文采取了全局残差和局部残差学习,来减轻训练深层网络的难度,递归学习来控制模型的参数且可以有效的控制模型的参数。

 上图表示各个算法的性能对比图。其中x轴表示参数量,y轴表示psnr。其中三角表示不超过5层的模型,星号表示不超过20层,圆圈表示超过30层。

深度网络需要巨大的参数,与紧凑型的模型相比,大模型不适合移动设置。

在DRRN中,作者引入了两种残差学习方法。一种是全局残差,在VDSR和DRCN中,用于连接输入和输出,这是因为输入输出非常相似。另外一种是局部残差,在深度网络中由于其深度多以某些信息在中间的传递过程中出现了丢失,为了解决这个问题,作者引入了局部残差,可以将丰富的细节信息传递到后面。

在DRCN中含有16个递归卷积层,为了防止梯度消失提出了递归监督的方法。本文作者采取了是递归某个多路径结构的残差单元。

 上图是四个基本算法模型。从图中可以看到DRCN与DRRN之间的区别。

 上面是基本的残差单元。整个残差单元采取了多路径的结构,残差连接可以学习到非常丰富的细节信息,恒等映射可以保证梯度的反向传播&#

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一壶浊酒..

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值