AlexNet网络分析--深度学习入门

第一层卷积层，使用两个GPU分别计算48个核，然后进行ReLU激活函数，对其结果进行Local Response Normalized。

使用ReLU比tanh和sigmoid等饱和函数要快。

Local Response Normalized（局部相应归一化）由于ReLU的值域没有区间，所以要对其结果进行归一化，公式为

就是对ReLU求出来的数据（x，y）周围进行归一化
进行归一化后可以加快梯度下降的速度，因为保证了各个方向的变化不太大。如果不进行归一化，网络中各层的分布不一定一样，网络的泛化能力会降低

后来出现了一种更好的归一化方法–BN（批量归一化），放在这里方便对比。
BN层：

1.计算样本均值。
2.计算样本方差。
3.样本数据标准化处理。
4.进行平移和缩放处理。引入了γ和β两个参数。
BN层用在ReLU前面，和LRN相比就是全局归一化与局部归一化的区别，效果更好。

BN层意义
1、使各层分布稳定，将输入值拉至非饱和区，提高收敛速度（而且可以防止非线性化失效）
2、减少梯度消失
3、稳定的分布可以减少参数，防止过拟合

进行LRN后进行最大池化，这里用的是Overlapping Pooling(覆盖的池化操作)

就是池化核重叠，用重叠池化可以提高精度，降低过拟合。

第二层卷积层，然后分别LRN和最大池化
第三层卷积层，没有LRN和Pool
第四层卷积层，没有LRN和Pool
第五层卷积层，然后最大Pool
第六七八层为全连接层，中间使用率ReLU和Dropout，最后使用softmax。

Dropout 是以一定概率将神经元暂时从网络中丢弃。

softmax是某元素的指数与所有元素指数和之比，将其转换成概率的形式，让数值大的更突显，数值小的基本上变成零

网络中还利用了Data Augmentation（数据扩张）防止过拟合，就是对原始图像进行变换，产生更多样本。