算法知识点-AlexNet、VGG、ResNet简述

AlexNet基本特点：
relu激活函数；Droupout层；数据增强；
VGG基本特点：
使用连续几个3*3的卷积核代替大卷积核；通过堆积小卷积核优于直接使用大卷积核，原因在于堆积小卷积核增加了模型的非线性表达能力，使得模型拟合能力增强。
验证了增加模型深度可以提高模型性能；堆积小卷积核组合优于一个大卷积核；但消耗更多内存，参数量大。
ResNet基本特点：
用以解决传统模型随着训练次数增加模型精度不增反降的问题。通过引入残差结构，使得原始的输出y变成y-x，构成残差结构residual mapping。这样当模型达到最佳时，residual mapping 会被Push为0，这样相当于模型学习的的是恒等映射，所以模型性能不会随着训练而下降。
Resnet为什么不用droupout？
resnet中引入了BN，相当于自带噪声，具有正则化效果，无需引入droupout。其效果相当。