CNN结构的深化
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一
AlexNet
- ImageNet-2012竞赛第一
- 标志着DNN(Deep Neural Networks)深度学习革命的开始
- 5个卷积层+3个全连接层
- 60M个参数+650K个神经元
- 2个分组->2块GPU(3GB)
- 使用两块GTX 580 训练5-6天
- 新技术
- ReLu非线性激活
- Max pooling池化
- Dropout regularization
LRN
局部响应归一化 LRN(Local Response Normalization)
- 神经元的侧抑制机制
- 某个位置(x,y)上沿通道方向的归一化
后面相关论文认为其没什么 用
NiN
NiN(Network-inNetwork)
1X1卷积
- 1X1卷积,实现的是 同一个像素点上的各个通道的值的线性组合
- 作用
- 实现跨通道的交互和信息整合
- 进行卷积核通道数的降维和升维
VGG
GoogLeNet
小结
- 网络:AlexNet->VGG->GoogLeNet->ResNet
- 深度:8->19->22->152
- VGG结构简洁有效
- 容易修改,迁移到其他任务中去
- 高层任务的基础网络
- 性能竞争网络
- GoogLeNet:Inception V1->v4
- Split-transform-merge
- ResNet:ResNet1024->ResNeXt
- 深度、宽度、基数(cardinality)
- GoogLeNet:Inception V1->v4