理解深度学习中的序列（sequence）以及RNN，CNN介绍

序列的定义

序列：在深度学习中一般为带有时间先后顺序（拥有逻辑结构）的一段具有连续关系的数据（文本，语音等等），或者是生活中有位置，顺序的固定序列信息。

为什么需要RNN（循环神经网络）或者CNN（卷积神经网络）处理序列数据

因为普通的神经网络模型处理定长的数据或者数据输入规模固定，不可变，所以具有一定局限性。

输入输出不定长，所以普通的神经网络处理不定长的数据效果较差。

前面的网络提取到的信息不能够被充分利用。

因此我们如果需要处理不定长的数据的话一般会运用RNN模型进行处理。下面简单介绍RNN网络。

RNN（循环神经网络）

简介：RNN用于处理时序信息，而且为循环神经网络，简单来说就是前面信息的输入会影响。

简单用公式描述为。w和b为权重参数和超参数。而且一般输出层用全连接神经网络连接。

在普通的全连接神经网络或者CNN中，每层神经元只能像上传递（单向传递），从而被称为前向传播神经网络，在RNN中，神经元的输出可以作用到自身，简单来说就是第i层神经元在m时刻的输入取决于i-1层神经元在m时刻的输出和i层神经元在m-1时刻的输出，如图所示。

RNN优点

1.能够处理时序信息，对于前面的信息可以综合使用，能够保留更多的信息。

2.可以不定长输入，方便我们处理文本，语音等信息。

RNN缺点

1.不能够长时间记忆

2.会出现梯度消失等问题。

3.有可能使得神经网络陷入局部最优解。

CNN（卷积神经网络）

CNN神经网络是卷积神经网络，一般用于处理图像识别，语音处理等等领域。CNN能够较好减少神经网络的参数，而且减少过拟合的详细，不会丢失太多的数据信息。举一个例子说明CNN神经网络的例子。

下面为一张图像，而且输入为（透明度+GRB）即为四维（0,0,0,0）数据大小为1000*1000*1000*1000。此外，就是卷积核大小为100*100，一共有100个卷积核进行处理数据，所以每一个卷积核提取不一样的特征，所以一共提取了100个特征层，而且每个卷积核卷积出来为该图像100*100的像素区域的数据加权求和。

最后经过了ReLU激活函数，池化等处理之后，最后连接全连接层，进行图像识别或者分类等下有核心任务。而且经过卷积处理之后我们获得的数据减少了10*6个数量级，因为原来运用全连接层需要训练10*12个参数，经过了100*100（卷积核的大小）*100（卷积核的数量）卷积处理之后，缩小了一半。减少了过拟合现象。

参考

https://zhuanlan.zhihu.com/p/38816145

https://blog.csdn.net/qunnie_yi/article/details/80129301

https://aistudio.csdn.net/62e38a4ccd38997446774bbb.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-77717149-blog-106073272.pc_relevant_recovery_v2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-77717149-blog-106073272.pc_relevant_recovery_v2&utm_relevant_index=2