Alexnet和NIN论文思考

本周读了两篇经典论文，有一些思考。

Alexnet论文思考

数据增强

本文中为了由于网络参数过多，为了防止过拟合，使用了数据增强和Dropout方法。
关于使用的数据增强，增加了数据量，使网络更关注于重要的特征信息，而减少对不相关特征的关注，由此，我想到了一个问题，数据增强有什么缺点？或者说什么情境下不适合用数据增强，这种方式呢？
这篇论文中使用了两种数据增强方式，一种是水平平移，翻转之类的方式，另一种是改变RGB通道上的灰度。
通过我的调查，得出得结论是如果使用的数据增强方式对于特定任务来说能保证一定的”不变性“，那就有可能提高网络性能。
比如说通过照片进行物体识别，自然希望无论在图片上哪个位置的物体都可以被识别出来，那进行有关位置上的数据增强很可能会提升网络性能，但是颜色信息对于物体识别来说是不是也有帮助，那这种情况下，对于颜色信息的改变可能会影响结果(影响程度不确定）。

NIN论文思考

全局平均池化

这篇论文里用全局平均池化层代替全连接层，大大减少了参数量，减少了过拟合，同时增强了可解释性，有很多优点。
那为什么它还没有完全取代全连接层呢？
我搜到了这篇文章，参考链接如下。
https://www.cnblogs.com/hutao722/p/10008581.html
这篇文章对全连接层和全局平均池化层做了一系列实验证明双方的性能，从这些实验结果中得到，全局平均池化层优于全连接层。
但全连接层的优势在于其的表征能力强，有另一篇文章说明的比较好，我觉得可以旁征博引的参考一下。
http://t.csdnimg.cn/etrPk