循环神经网络（RNN）+卷积神经网络（CNN）+深度神经网络+神经网络 （前世今生+爱恨纠缠）的关系

•神经网络（先扯一下基本概念，不然说不清）

神经元是构成神经网络的最小单元，（就是下图，长这德行）

，

所谓神经网络结构就是指不同的神经元之间连接的结构，一个最简单的神经网络结构输出就是所有输入的加权和。输入的权重就是神经元的参数，神经网络的优化过程就是优化神经元中参数取值的过程。

•在深度学习（这个概念先不着急，看完你就明白这个概念了，），主要使用的非线性模型，前面介绍的输出为所有输入的加权和，这导致整个神经网络是一个线性模型，如果将每个神经元的输出通过一个非线性函数，那整个神经网络的模型就不是线性的了，这个非线性函数就是激活函数，（很多功能就是以这个函数实现的）

•如何判断一个输出向量和期望的向量有多接近？（这部分纯情补充概念，不看也没关系）

•交叉熵：是一种常见的评判方法，交叉熵刻画了两个概率分布之间的概率。当交叉熵作为神经网络的损失函数时，交叉熵值越小，两个概率分布越接近。

•神经网络的优化算法，反向传播算法和梯度下降算法，调整神经网络中参数取值。梯度下降算法主要优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络模型在训练数据上的损失函数尽可能的小。

卷积神经网络（CNN）

为了引出卷积神经网络（CNN），不得不提一下全神经网络，（这个概念就不写文字描述，直接上图，慢慢体会吧，我相信胜过语言）

•全连接神经网络的最大问题在于当参数太多时，会导致计算速度变慢，还会导致过拟合问题，所以需要一个更加合理的神经网络结构来有效的减少神经网络中的参数个数——CNN（时势造英雄）。

循环神经网络（RNN）

•之前介绍的全连接神经网络和卷积神经网络模型中，网络结构都是从输入层到隐含层再到输出层，层与层之间时全连接或部分连接的，但每层之间的节点是无连接的（这一部分建议看看它的原理，我估计你会疯了的，哈哈哈）。要是实在不想看，就看下面这个例子：

•假如：要预测 “天空很__...”,预测很后面之后会是什么，大概率是“蓝”吧。现在看看这几个神经网络面临这个问题时会怎么，反应：全神经网络分析后，直接在预测（速度可能会比较慢）；卷积神经网络（RNN）（假如全连接参数很多）带着蔑视的眼神很快就预测出来了（但是结果不一定令人满意。它们可能预测结果：蓝、绿、红）；循环神经网络（RNN）会根据“天空”+“很”，预测，想想结果肯定会准确很多。

•总之一句话：循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出，而前面两个神经网络并不会利用之前的信息，只会利用当前的信息。

深度神经网络（DNN）

在前面介绍的神经网络只有一个隐藏层（就是输入和输出之间的处理过程，准确概念请参考其他文献），我们可以堆叠两个以上的隐藏层（理论上，隐藏层可能会时RNN,也可能时CNN，也可能是这几个的组合），这样就可以得到了深度神经网络。