GoogLeNet V4
个人感觉其实这个V4有点很臃肿的感觉，其实是个A+B的过程，将ResNet的残差的思想放在自己的结构上，属于强强联合的一种形式。而且有些很精巧的设计，具有较强的针对性，性能确实很强（在ImageNet数据集上面），但是在别的数据集上面是否能有这么好的表现未可知。相比于VGG，BN，ResNet这些通用的方法来说，V4更像是钟表一样，可能少了谁都无法能够精准的完成工作。
创新点
- 在残差的结构的基础上，增加了
1*1卷积 - 激活值缩放
当超过1000个卷积核的时候，会出现“死神经元”，在最后的平均池化会出现输出值为0的现象，这个现象用小学习率和BN都无法避免这个问题。因此为了让模型训练能够更加稳定，在残差模块中对残差进行数值大小的缩放，通常乘以0.1-0.3之间的一个数。（文中也指出这个操作不是必须的）
191
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
