【学习笔记】AlexNet+ResNet

网络杂谈

（1）分类就用ResNet、分割就用U-Net、检测就用YOLO；
（2）

AlexNet

https://blog.csdn.net/frighting_ing/article/details/120774252

https://blog.csdn.net/guzhao9901/article/details/118552085?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170528809616800227496886%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=170528809616800227496886&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-1-118552085-null-null.142^v99pc_search_result_base9&utm_term=alexnet&spm=1018.2226.3001.4187

 1. ReLU激活函数的引入
 2. 层叠池化操作
 3. Dropout操作
 4. 网络层数的增加

 5. 使用LRN对局部的特征进行归一化，结果作为ReLU激活函数的输入能有效降低错误率（局部响应归一化）（目前较少使用，以BN为主）
 6. 在多个GPU上进行模型的训练，不但可以提高模型的训练速度，还能提升数据的使用规模（目前训练使用较少）
 7. 使用了数据增强策略（Data Augmentation）缓和过拟合问题
		平移和翻转 使用了PCA对RGB像素降维的方式

ResNet(残差学习)

 1. 深层网络存在着梯度消失或者爆炸的问题--》过去BatchNorm来缓解 
 2. 总而言之，与浅层网络相比，更深的网络的表现不应该更差。
 3. 残差神经网络的主要贡献是发现了“退化现象（Degradation）”，并针对退化现象发明了 “快捷连接（Shortcut connection）”，极大的消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层、最大的神经网络甚至超过了1000层。
 4. 现在几乎没有模型不带skip connection的
 5. Skip connection，如残差连接（Residual Connection）或注意力机制（Attention Mechanism）等。

对ResNet本质的一些思考 https://zhuanlan.zhihu.com/p/60668529

BN（Batch nomalization）解决的是梯度消失的问题，而ResNet解决的是深层网络退化问题。