本文涉及1990至今神经网络的突破性进展、小型网络结构用来优化性能、模型压缩与加速,可以帮助自己更好的理解这些网络的变化。
目录
1. 神经网络补充
-
神经网络是有层次的
-
一个卷积就是提取一个特征
2. 卷积类型
3. 1990至今神经网络的突破性进展
1.定义网络结构
2.forward前向通路,反向torch自己算
LeNet-5(1990)
AlexNet(2012)
VGGNet(2014)
GooLe Inception Net(2014)
ResNet(2016)
DenseNet(2017)
SENet(2017)
Summary
4. 小型网络结构,优化性能
SqueezeNet
Xception
使用分组卷积
mobileNet v2
ShuffleNet
5.模型压缩与加速
前端压缩
知识蒸馏3种
紧致网络结构