CNN和RNN介绍

1. 主要的神经网络分类方法为：BP神经网络分类算法，径向基神经网络分类算法RBF。
2. 通过池化操作可以减少特征维度，保持特征拥有空间不变性。
3. CNN网络在交叉相连的卷积层，池化层后紧连着全连接层与分类器，全连接层通常为多层神经网络(MLP)，在森曾CNN中全连接层中，大多采用能精确模拟生物激活模型的Relu激活函数，其能够使网络在训练过程中加速随机梯度下降法SGD的收敛和防止梯度消失，以提高网络训练速度。
4. 于此同时，为了避免网络在训练过程中出现过拟合问题，添加进入了一些Dropput(随机丢失技术)，该方法使全连接层的神经节点以一定的比例丢失，从而减少了网络的训练参数，避免网络产生过拟合。由于Dropout具有灵活性，所以每次数据输入的网络结构都有差异，其降低了神经元间的互相适应的复杂度，使CNN网络提取的图像特征表达具有鲁棒性，。目前Dropout技术在众多卷积神经网络得到了很好的应用，并取得了很好的分类性能，最后将经过全连接层整合后的具有区分性的特征信息送入分类器，通常采用Softmax逻辑回归或者SVM等作为特征分类器。
5. 常见的无监督学习算法，如稀疏自编码器（Sparse autoencoders）[44]、受限玻尔兹曼机（RBM）[45]、高斯混合模型（GMMs）[46]、 K-means[47][48]和主成分分析（PCA）[49]等在图像处理领域有着广泛的应用。由于无监督训练方法可以从输入样本中学习到特征变换关系，所以通过无监督训练算法可以把输入样本变换成新的特征表达。无监督学习算法在提取图像特征时大多数[50][51][52][53][54]采用一种较为相似的框架结构，该框架包含若干个步骤。通过如下步骤去学习特征表示：如下图所示：
6. 
   所谓激励函数就是对卷积层的输出进行一次非线性映射。
7. Co-training phase在协同训练阶段，实际上是半监督学习方法，利用两个或者更多个分类器学习
8. LSTM的内容结构，通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重复的信息；而不像普通的RNN那样只能够呆萌的仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说尤其好用。但是也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多，因此很多时候我2们往往会使用效果和LSTM相差但参数更少的GRU来构建训练量大的模型。下图是具体介绍的过程

1. 协同训练的目的就是利用现有的已有标签的数据未被标记的数据。
2. 循环神经网络是一种用于处理序列数据的神经网络，相比一般的神经网络而言，RNN能够处理序列变化的数据，比如某一个单词的意思因为上下文提到的内容不同会有不同的含义，RNN就能够很好的解决这类问题。
3. RNN详细的介绍：https://zhuanlan.zhihu.com/p/32085405