AlexNet 学习

四个创新点：

一）ReLU

    在梯度下降中，不饱和非线性比饱和非线性快很多。

二）在双GPU上训练

    双显卡并行计算，只和各自相关显卡的上一层有关联，加快速度。

三）LRN

     ReLU不需要归一化防止过饱和，不过仍然发现以下公式帮助归一化。

    

    (x,y)位置，i kernal，k, n, a,b 是超参数（无特定含义的字的参数）。

四）重叠池化

    错误率下降0.4%和0.3％（top-1 和 top-5）

 

避免过拟合的方法：

一）数据变化（镜面、平移、PCA变换等）

二）dropout

 

整体结构：

八个学习层，包含五个卷积层和三个全连接层。

\\

 

 

转载于:https://my.oschina.net/kathy00/blog/682768