ResNet以及BN和迁移学习基础

ResNet

如图1所示，两个问题：

• 随着网络的不断加深，梯度消失或梯度爆炸的现象会越来越明显。
• 退化问题（degradation problem）：网络层数深的效果没有网络浅的效果好。
  
  解决方案：
• 对数据进行标准化处理，以及权重初始化。
• 通过残差结构解决退化问题。

1x1的卷积核用来升维和降维

网络中的亮点：

• 超深的网络结构（>1000层）
• 提出（residual）残差模块
• 使用Batch Normalization 加速训练

Batch Normalization

• 目的是使 feature map满足均值为0，方差为1的分布规律
• 先对数据进行预处理，将图像数据调整至满足某一规律
• 均值和方差是在正向传播过程中统计得到的
• $\gamma 和\beta$是在反向传播过程中训练得到

迁移学习

优点

• 能够快速训练出一个理想的结果
• 当数据集较小时也能训练处理想的效果
  常见方式：
• 载入权重后训练所有参数
• 载入权重后只训练最后几层参数
• 载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层
  最后一层无法载入预训练模型参数

参考b站视频