最近开始学习深度学习技术,选择了基于CNN的Imagenet识别作为开始。卷积神经网络我现在的理解是利用图像卷积操作进行end-to-end学习 ,从特征提取到识别任务,一口气做完。卷积操作是线性操作:权重乘上图像卷积区域内的像素值,优化较为容易。
图1. 用于图像识别的CNN结构
神经网络的设置:
1. 输入图片 224*224, 5层卷积用于特征提取,3层fully-connected network, 进行识别
2. 卷积参数学习的结果与方向性的Garbor滤波器类似,该论文的卷积核分上下两部分,要着重注意。
3. 卷积层的学习参数不算多,互联层的参数比较大,我对互联层为什么设计这么大并不理解
4. 学习中用到的技术: normalization, pooling,dropout. dropout貌似将一个大规模神经网络看成多个随机网络的组合,算法会随机选择关闭一些神经元,让其输出为0,进行训练。训练完成后使用所有神经元,改动之处在于把神经元的输出乘以0.5
参数初始化:卷积权重随机初始化, 神经元activation函数选成ReLU.
论文里没有明确说明Loss函数的设计