摘要
1. 加快训练
-
不饱和神经元 ReLU
-
GPU
2. 减少过拟合
- dropout
一、 引言
二、 数据集预处理
1. Top5 错误率:
正确结果不在预测的前5个标签的百分比
2. 图片大小不一致 :
最短的边缩放为255,然后剪裁成255*255大小
三、 网络结构
1. ReLU
- 非饱和比饱和的快
2. 多GPU
3. LRN:局部响应归一化
4. overlapping pooling:重叠池化
S:stride,卷积核移动的步数
Z:size,卷积核的大小
S < z时:移动时有重合
5. 整体结构
链接: url.cn/58dvjBV
四、 减少过拟合方法
1. 数据增强
在CPU中完成
- 随机剪裁224*244 的图片
- 水平翻转图像
- 更改RGB
2. dropout
五、学习细节
1. 权重更新公式
2. 初始化超参
-
- 每一层使用均值为0、标准差为0.01的高斯分布进行初始化weight
-
- 第二层、第四层、第五层卷积层以及全连接的隐藏层使用常数1初始化bias、其余为0