04 cifar10_ResNet(论文)

最新推荐文章于 2024-01-29 18:35:30 发布

疯狂的荷兰人学3D视觉

最新推荐文章于 2024-01-29 18:35:30 发布

阅读量1.3k

点赞数

分类专栏： keras从入门到精通文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_40920290/article/details/80625016

版权

keras从入门到精通专栏收录该内容

14 篇文章 11 订阅

订阅专栏

文章目录

ResNet论文笔记

ResNet论文笔记

引言

卷积神经网络的深度对卷积网络的性能非常重要,因此提出一个问题：

Is learning better networks as easy as stacking more layers?

仅仅依靠堆叠深度来提升提升网络性能？
结果当然是否定的，梯度消失/爆炸这个问题从一开始就阻碍了收敛。

一个小于1或一个大于1的数字在经过150层的指数叠加就会变得很大或者很小，我们自己手算一下也能算出来，0.8的150次方大约是2.9 x 10-15 ，1.2的150次方大约是7.5 x 1011.

而参数 $\theta$ ：
$\theta = \theta - \lambda \frac{{\partial f}}{{\partial \theta }}$
$\lambda$ 为学习率，过大则越过局部极小值，过小则停滞不动
这个过程已经通过标准化(normalization) 、和中间标准化层( Batch normalization )解决
- 为什么可以解决梯度消失的问题?
  
  BatchNormal思想: 对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题
  
  Normal思想: 对于输入，将其输入分布拉到均值为0方差为1的分布上
- 这使得数十层的网络能通过具有反向传播的**随机梯度下降（SGD）**开始收敛
当更深的网络能够开始收敛时，暴露了一个退化问题
- 随着网络深度的增加，准确率达到饱和(不在上升),反而下降
- 意外的是，这种下降不是由过拟合引起的，并且在适当的深度模型上添加更多的层会导致更高的训练误差
引入深度残差学习框架解决了退化问题
- 定义：
  
  残差: 残差在数理统计中是指实际观察值与估计值（拟合值）之间的差
- 传统的平网络:
  - 一层的网络的数据来源只能是前一层网络，就像上图这样，数据一层一层向下流。对于卷积神经网络来说，每一层在通过卷积核后都会产生一种类似有损压缩的效果，可想而知在有损压缩到一定程度以后，分不清楚原本清晰可辨的两张照片并不是什么意外的事情。
  - 实际在工程上我们称之为降采样（Downsampling）——就是在向量通过网络的过程中经过一些滤波器（filters）的处理，产生的效果就是让输入向量在通过降采样处理后具有更小的尺寸，在卷积网络中常见的就是卷积层和池化层，这两者都可以充当降采样的功能属性。主要目的是为了避免过拟合，以及有一定的减少运算量的副作用。
- 残差神经网络:
  
  我们让这些层拟合残差映射，而不是每几个堆叠的层直接拟合期望的基础映射.
  - 期望的基础映射: $H\left( x \right)$ ,也就是最后的输出；
  - 我们不用将堆叠的非线性层去拟合基础映射(H(X)),二是将堆叠的非线性层拟合另一个映射(残差映射F(X)),
    $F\left( x \right): = H\left( x \right) - x (残差映射=期望的基础映射-原来的X)$
    将期望的基础映射重写：
    $H (x) : = F (x) + x$
  - 假设残差映射F(X)比原始的、未参考的映射更容易优化,最后我们得到了该结构的基础映射(H(x))
  - 我们通过以下这个结构实现