RestNet详解vs迁移学习

1.

网络并不是层数越多越好

原因：
1.梯度消失或爆炸

a.梯度消失

假设每一层的误差梯度是一个小于1的数，那反向传播过程中，每向前传播一层，都要乘以一个小于1的数，当层数越多时，梯度越趋近于0

b.梯度爆炸（与梯度消失相反）

解决方法：对数据进行标准化处理，权重初始化，bn

2.退化问题

  用残差结构解决

2.网络特点

a.超深的网络结构

b.提出residual模块（残差模块）

左右两个是不同的残差结构

左边针对层数较少的网络结构（34），右边针对层数较多的网络结构（50，101，152）

（1） 以左侧残差结构为例

分为主分支和捷径分支

图中加号的意思是将主分支特征矩阵与捷径分支特征矩阵（高宽和深度应相同  ）进行相加，然后通过relu激活函数

（2）右侧残差结构

第一层起降维作用

第三层进行升维

（3）左右对比

右侧所用参数更少

（4）残差结构的实线和虚线

50层结构

****实线所对应的残差结构输入矩阵和输出矩阵大小和深度相同

而虚线的残差结构得到的·输出矩阵的大小和深度不同于上层（也就是将其改变），而使用于下面一系列残差结构

（1）主分支第一个3*3矩阵的步距改为2（是输出矩阵大小改为28），卷积核个数改为128（使输出特征矩阵深度改为128）

（2）捷径分支加入了一个1*1的卷积层，步距为2，卷积核个数为128，使得到的矩阵与主分支特征矩阵相同

 更高层结构

 虚线结构中

主分支第一层和第三层作用与实现结构相同，用于降维和升维，第二层用于改变矩阵大小

##下采样操作是通过虚线残差结构实现的

#####对于18层和34层的网络结构，conv2的第一层残差结构不需要用虚线的，因为由上面得到的输出矩阵正好符合下面的结构

#####而对于更高层，conv2的残差结构的第一层也是虚线结构，用于改变深度大小

c.使用Batch Normalization加速训练（这是个标准化方法，用这个就不用dropout了）

 搭建网络构成中，第一步我们通常会对图像进行预处理，使其满足某一分布规律，进行加速训练，但经过一个卷积层后得到特征层（feature map）就不一定满足所期望的某一分布规律了。

 而bn就是使每一个特征层都满足均值为0，方差为1的分布规律（处理的是一批图像，不是一个）

 

d.网络结构

 

 

2.迁移学习

将学习好的网络的浅层网络的参数迁移到新的网络中

 如果网络特别大，网络参数特别多，而数据集又特别小，会出现过拟合的现象

但如果用迁移学习，就可以用别人预训练好的模型参数去训练自己的比较小的数据集，也能由比较好的效果

##注意别人的预处理方式

 1.载入权重之后，针对自己的数据集训练所有层的网络参数（将最后一层全连接层的节点格式改为自己的类别的个数，最后一层无法载入预训练模型参数，只针对第一种方式）