卷积神经网络(CNN)的规律总结

   本篇博客主要讲述卷积神经网络(CNN)的一般规律和一些基本的特性。

   卷积神经网络的局部连接、权值共享以及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且易于训练和优化。

   目前，常用的深度学习模型有深度置信网络(Deep Belif Network),

即DBN，层叠自动去躁编码机SDA，卷积神经网络CNN。

   激励函数可以选择线性纠正函数ReLU、sigmoid函数、tanh(x)函数、径向基函数等。

   由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，CNN也由此而得名。

   CNN的卷积层通过卷积操作提取输入的不同特征，第1层卷积层提取低级特征如边缘、线条、角落，更高级的卷积层提取更高级的特征。

   实验表明，相对于特征面的数目、卷积核大小，网络深度的增大带来的效果更佳明显。

   池化层的目的是通过降低特征面的分辨率来获得具有空间不变性的特征。

   为了避免训练过拟合，常在全连接层中采用正则化方法（丢失数据dropout）技术，即使隐层神经元的输出值以0.5的概率变为0，通过该技术部分瘾层节点失效，这些节点不参加CNN的前向传播过程，也不会参加后向传播过程。

   C1层提取输入图像的边缘、轮廓特征，可看成是边缘检测器，池化层的作用是在语义上把相似的特征合并起来，池化层通过池化操作使得特征对噪声和变形具有鲁棒性。各层所提取的特征以增强的形式从不同角度表现原始图像，并且随着层数的增加，其表现形式越来越抽象。

   卷积神经网络目前在图像分类、人脸识别、音频检索、ECG分析等多个领域有了较以往传统网络更优的分类效果。我的师兄将CNN与EEG信号相结合也取得了相当不错的效果。在卷积神经网络这条路上，我们还有很长的路要走。