深度学习------卷积神经网络（CNN）、循环神经网络(RNN、LSTM)和递归神经网络知识点汇总

1. 卷积神经网络（CNN）

卷积神经网络（CNN）:是一类包含卷积计算且具有深度结构的前馈神经网络；由于卷积神经网络具有平移不变分类，因此也被称为平移不变人工神经网络。
卷积神经网络是一种特殊的卷积神经网络模型，体现在两个方面：（1）神经元间的连接是非全连接的；（2）同一层中某些神经元之间的连接权重是共享的，即它的非全连接和权值共享的网络结构使之类似于生物神经网络，降低了模型的复杂度，减少了权值的数量。
输入层：主要对原始图像数据进行预处理，包括去均值，归一化，pca.
卷积层：提取特征
池化层：（1）特征图压缩，使特征图变小；（2）特征图压缩，提取主要特征。
全连接层：做分类器作用。
激活函数：常见的激活函数有sigmoid、tanh、relu、softmax。其中sigmoid和tanh常用于全连接层，而relu常用于卷积层。

总结：卷积神经网络主要由两部分组成，一部分是特征提取（卷积、激活函数、池化），另一部分是分类识别（全连接层）。

2. 经典卷积网络模型

CNN的经典结构有LeNet、AlexNet、ZFNet、VGGNet、Go