AlexNet VGG GoogLeNet
GoogLeNet 提出Inception网络 4个版本
ResNet残差网络
核心组件 skip/short cut connection
F(x)是残差映射 学习结果和原始x作差
其他设计:卷积核都是3*3 使用步长为2 使用Batch Normalization 没用Max池化、全连接层
优化bottleneck
ResNet 50/101/152层
ResNeXt 引入一个新的维度cadinality
CNN设计准则:
避免信息瓶颈:卷积过程中空间尺寸HxW逐渐变小输出通道数从C逐渐变多,H*W*C也逐渐变小
通道(卷积核)数量保持在可控范围内
感受野要足够大,卷积是基于局部图片的操作,捕捉大尺寸内容,多个小尺寸的卷积核比一个大尺寸的卷积核参数少计算快,需要多个非线性激活
分组策略-》降低计算量,分组卷积特征合并