Alex-net

 

下一个图像的通道为48， 是因为96个核，分成了两部分

减少过拟合的方法：

1 数据处理： （1）图像变换和镜像旋转，说明CNN不是抗旋转的 （2）主成分分析后添加高斯噪声，因为图像的内容丰富度用秩来表示，主成分分析是奇异值分解的另一种形式，某种意义上说来是统一的，而矩阵的所有的特征空间就是用来表征矩阵的有效信息的

2 随机失活（dropout）：使得网络结构动态化的一种办法，不会依赖某些层

非线性激活函数用了ReLu:

文中提到了max截断的方法比tanh 和sigmoid函数梯度下降更快

更准确的翻译 https://zhuanlan.zhihu.com/p/22538465