ImageNet历届冠军作品、keras了解

周末总结

本周学习内容：

1. ImageNet历届冠军作品
2. keras了解

一.ImageNet历届冠军作品

在多届冠军作品中，我挑选了四个最有特点的网络进行了学习。其中包括：AlexNet、GoogleNet、ResNet和一个亚军作品VGG。
下面依次介绍以上网络各自的特点、用到的关键技术。

AlexNet：

1.重叠池化。一般网络中的池化都是设置为步长=尺寸。而重叠池化中的步长是小于它的尺寸的，就可以做到一个像素可以被扫描到多次。更大程度上保留了学习到的特征。

2.双GPU并行。在AlexNet被设计出来的时候，计算机的性能还无法承受其中参数的数量。于是，他们采用了双CPU并行技术，将卷积层分为两份进行计算，最后再合到一起。

3.LRN局部归一化。原理和人的视觉神经类似，只要有一个神经元响应，其周围的神经元就会受到抑制。方法就是利用视觉神经推理出的数学函数将上一层经过激活函数的值重新计算。

4.Dropout。为防止网络的过拟合化，使用Dropout将部分神经元输出的值变为0。

5.数据增益。运行网络时常会出现训练数据不足的情况。这时便可以利用数据增益将数据进行一定程度上的平移、翻转、放大缩小等后产生的图片作为新的数据再进行输入。

6.初始化方式。为了令前一层和它后一层输出的值服从同一分布，使用均匀初始化的方法将方差设为（a-b）^2/2。

VGGNet：

1.1×1的卷积核。更小的卷积核代替大的卷积核能增加网络的深度，可以减少参数量，实现不同通道间的融合。