AlextNet 首次使用relu,dropout的好处: 多个子网络组合, hard记忆没了, 增加数据sgd VGGNet pooling 之后通道数增加 Resnet 没有全联接层 Inception 分组卷积,多种层级的feature, 不交叉计算 mobilenet模型压缩极限是 卷积核大小kw, kh 1/9 10%