resnet的理解

1、ReLU激活函数的作用：非线性能够增加模型的你和能力；ReLu相当于一个滤波器，过滤数据中的冗余信息，留下有用信息，达到数据降维的目的。

2、低维度的数据流过ReLU容易造成信息坍塌（collapse）。低维度信息本身冗余度就低，经过ReLU之后，很多数据可能会被过滤掉（输出为0），因此，对应神经元的输出就会变为0，导致反向传播时，梯度为零，因此，此神经元丧失了学习能力。

3、因此，解决非线性激活层导致的反向传播梯度消失的窍门，就是要提高进行非线性激活的数据信息的冗余度。

4、如果一个数据信息能够完整的流过一个非线性激活单元，那么，相当于只对该数据信息进行了一次线性激活。

5、由于identity之外的其余部分的信息冗余度较高，因此在对其使用ReLU进行非线性激活时，丢失的有用信息也会较少，ReLU层输出为0的可能性也会较低。这就降低了在反向传播时ReLU的梯度消失的概率，从而便于网络的加深，以大大地发挥深度网络的潜能。

6、特征复用能加快模型的学习速度，因为参数的优化收敛得快（从identity的基础上直接学习残差，总比从头学习全部来得快）。【densenet也是进行了特征复用】

 

 

reference：https://zhuanlan.zhihu.com/p/60668529。https://www.zhihu.com/question/64494691/answer/786270699。