神奇的卷积神经网络(五)总结

Convolutional Neural Networks (卷积神经网络)

前四篇我们已经详细的介绍了卷积神经网络的结构与组成，这篇我们将对卷积神经网络做一个总结，内含各种技巧介绍和调参经验，不要错过哦！

概念总结:

1. Deep Learning是全部深度学习算法的总称，卷积神经网络是深度学习算法在图像处理领域的一个应用。

2. Fully Connection神经网络最大的缺陷在于很难提取到有用的特征而Deep Neural Networks能够自主地从数据上学到有用的feature。特别适合在一些不知道如何设计feature的场合。

3. Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的操作。

4. 卷积神经网络的局部感知野网络结构降低了网络的复杂度，减少了权值的数量。

5. 卷积神经网络的权值共享结构，由于同一特征映射面上的神经元权值相同，所以网络可以并行学习。

6. 卷积神经网络是为识别图像而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。

7. ReLu的使用，使得网络可以自行引入稀疏性。这一做法，等效于无监督学习的预训练。

8. 所有的权重都应该用一些不同的小随机数进行初始化。

9. 多层神经网络初始化隐含层不能简单置零。这样会很容易找到局部最小值。

10. 每个DL都有众多的参数，少量数据无法将参数训练充分。

奇技淫巧:

1. 池化矩阵一般为2*2，对于非常大的图像可以使用4*4。如果取值过大，可能会损失掉太多的信息。

2. 如果网络的最后一层是softmax分类器的话似乎其前一层就不能用ReLU。

3. 无需在cost function里加入正则项，因为CNN的权重共享相同于自带某种正则化。(此点道理上说的通，还需详细考究)

4. Deep Learning中大部分激活函数应该选择ReLu。

5. 使用带momentum的Nesterov's Accelerated Gradient Descent方法可以更快的收敛。

6. Dropout一定要用！

7. 图片的augmentation一定要做, 这是你与别人拉开差距的方式之一。

8. 有些时候可以对图片进行适当的手动裁剪。

9. 参数的继承可以让你有更多的时间去调整模型。(参数继承也可理解是监督式的pre-training)

初窥卷积神经网络，只会使用Theano, Lasagne, Nolearn, Caffe, 这些库构建卷积神经网络。有机会自己写遍整个流程会对卷积神经网络有更清晰的认知吧。

代码随后奉上，欢迎大家一起讨论学习。

原文发于博客：http://blog.csdn.net/u013787595
GMX 2015.10.21  US  Pacific Time