ResNet 初了解

---

https://blog.csdn.net/lanran2/article/details/79057994
常用模型框架：ResNet50 ResNet101

1、意义

随着网络加深，训练集准确率下降，引入深度残差网络
可以确定这不是过拟合造成的
残差是什么？
ResNet提出两种mapping，一种就是旁边弯的哪一个曲线，另一种就是直的跑卷积的那一段
弯的曲线就是identity mapping，自身输出，直的是residual mapping，是y-x，F(x)
如果网络已经到达最优，继续加深网络，残差项就会push为0，只有自身输出，理论上网络一直最优

2、结构

Shortcut connection
先过基本的卷积，再加上原来的自己
shortcut也有两种方式，实线和虚线
实线就是channel个数一致，虚线的话不一致，可以通过卷积操作调整原来x的维度

3、ResNet50 ResNet101

5种不同深度的ResNet，其中有50和101
所有网络有5部分，conv1，conv2_x，conv3_x，等等
深度层数仅仅指卷积或者全连接的层数，激活层和pooling层没有计算在内

---

https://blog.csdn.net/u013181595/article/details/80990930

1、概括
参数量比VGGNet低，正确率高
主要思想：增加直连通道，允许保留之前网络层一定比例的线性输出，直接传到后面的层里
不用学习整个的输出，学习上一个网络输出的残差

2、创新点
整个网络只学习输入输出差别的那一部分，简化学习目标和难度

---

感悟：

有点那个意思了
就是直连输出到后面
网络结构就是这样
但是后续训练的时候，做bp梯度的时候
这个直连传递的基本不会有改变
改变的就是F(x)
就是不断训练它变小
使得F(x)+x不断接近x
所以训练的是F(x)
就是残差