Task8

1 RNN

在RNN中，神经元的输出可以在下一时刻直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输入外，还包括其自身在（m-1）时刻的输出。将RNN展开，我们得到如下图所示的关系：

循环神经网络的这种结构非常适合处理前后有依赖关系的数据样本。由于这种链式的结构，循环神经网络与序列和列表紧密相连。因此，RNN适合处理基于时间的序列，例如：一段连续的语音，一段连续的手写文字。以语言模型为例，根据给定句子中的前t个字符，然后预测第t+1个字符。假设我们的句子是“你好世界”，使用前馈神经网络来预测：在时间1输入“你”，预测“好”，时间2向同一个网络输入“好”预测“世”。

缺陷：
我们可以根据前n个字符预测第t+1个字符。我们可以增大n来使得输入含有更多信息。但是我们不能任意增大n，因为这样通常会增在模型的复杂度，从而导致需要大量数据和计算来训练模型。

2 双向RNN

假设当前t的输出不仅仅和之前的序列有关，并且 还与之后的序列有关，例如：预测一个语句中缺失的词语那么需要根据上下文进 行预测；Bidirectional RNN是一个相对简单的RNNs，由两个RNNs上下叠加在 一起组成。输出由这两个RNNs的隐藏层的状态决定。
如下图：

3 LSTM

RNN也有梯度消失的问题，因此很难处理长序列的序列。LSTM是一种特殊的RNN，能够解决长期依赖的问题，避免常规RNN的梯度消失。LSTM是长短时记忆单元，具有长期记住信息的特性。在标准RNN中，重复模块具有简单的结构，例如单tanh层，如下图所示：

h(t)一方面用于当前层的模型损失计算，一方面用于下一层h(t+1)计算。LSTM的结构比RNN的复杂得多，如下图所示：
LSTM的关键是细胞状态，即贯穿图表顶部的水平线：
LSTM为细胞状态移除或者增加信息，这种精心设计的结构叫做门。

4 梯度消失、爆炸解决方案

梯度裁剪：这个方案主要是针对梯度爆炸提出的，其思想是设置一个梯度剪切阈值，然后更新梯度的时候，如果梯度超过这个阈值，那么就将其强制限制在这个范围之内。这可以防止梯度爆炸。

Batchnorm：Batchnorm是深度学习发展以来提出的最重要的成果之一了，目前已经被广泛的应用到了各大网络中，具有加速网络收敛速度，提升训练稳定性的效果，Batchnorm本质上是解决反向传播过程中的梯度问题。batchnorm全名是batch normalization，简称BN，即批规范化，通过规范化操作将输出信号x规范化到均值为0，方差为1保证网络的稳定性。

梯度正则：另外一种解决梯度爆炸的手段是采用权重正则化（weithts regularization）比较常见的是l1正则，和l2正则，在各个深度框架中都有相应的API可以使用正则化

5 TextRNN原理

在一些自然语言处理任务中，当对序列进行处理时，我们一般会采用循环神经网络RNN，尤其是它的一些变种，如LSTM(更常用)，GRU。当然我们也可以把RNN运用到文本分类任务中。
这里的文本可以一个句子，文档(短文本，若干句子)或篇章(长文本)，因此每段文本的长度都不尽相同。在对文本进行分类时，我们一般会指定一个固定的输入序列/文本长度：该长度可以是最长文本/序列的长度，此时其他所有文本/序列都要进行填充以达到该长度；该长度也可以是训练集中所有文本/序列长度的均值，此时对于过长的文本/序列需要进行截断，过短的文本则进行填充。总之，要使得训练集中所有的文本/序列长度相同，该长度除之前提到的设置外，也可以是其他任意合理的数值。在测试时，也需要对测试集中的文本/序列做同样的处理。
假设训练集中所有文本/序列的长度统一为n，我们需要对文本进行分词，并使用词嵌入得到每个词固定维度的向量表示。对于每一个输入文本/序列，我们可以在RNN的每一个时间步长上输入文本中一个单词的向量表示，计算当前时间步长上的隐藏状态，然后用于当前时间步骤的输出以及传递给下一个时间步长并和下一个单词的词向量一起作为RNN单元输入，然后再计算下一个时间步长上RNN的隐藏状态，以此重复…直到处理完输入文本中的每一个单词，由于输入文本的长度为n，所以要经历n个时间步长。基于RNN的文本分类模型非常灵活，有多种多样的结构。接下来介绍一种典型的结构。

一般取前向/反向LSTM在最后一个时间步长上隐藏状态，然后进行拼接，在经过一个softmax层(输出层使用softmax激活函数)进行一个多分类；或者取前向/反向LSTM在每一个时间步长上的隐藏状态，对每一个时间步长上的两个隐藏状态进行拼接，然后对所有时间步长上拼接后的隐藏状态取均值，再经过一个softmax层(输出层使用softmax激活函数)进行一个多分类(2分类的话使用sigmoid激活函数)。

6 Text-RNN文本分类

基于LSTM搭建一个文本意图分类的深度学习模型，其结构图如下：

整个模型包括两部分：

第一部分：句子特征提取

Step1 读取数据（这里是经过结巴分词后的句子），按比例划分训练集和验证集，这里每个句子都生成了相应的mask向量，用以标记每个输入文本的实际长度（在后期的模型中根据mask向量将padding为0部分所对应的隐藏层输出砍掉。

Step2 对输入到模型中的句子进行Word Embedding，将每个词表示成一个数值型的词向量。这个过程中对于不同长度的问题文本，pad和截断成一样长度的。太短的就补空格，太长的就截断。从而构建维数一致的模型句向量输入。

第二部分：基于RNN的分类器模型

每个词经过embedding之后，进入LSTM层，这里用的是标准的LSTM，然后经过一个时间序列得到的n个隐藏LSTM神经单元的向量，这些向量经过mean pooling层之后，可以得到一个向量h，然后紧接着是一个Softmax层，得到一个类别分布概率向量，取概率值最大的类别作为最终预测结果。

代码参考：https://blog.csdn.net/tcx1992/article/details/78194384

7 RCNN

RCNN（Region with CNN feature）是卷积神经网络应用于目标检测问题的一个里程碑的飞跃。CNN具有良好的特征提取和分类性能，采用RegionProposal方法实现目标检测问题。算法可以分为三步（1）候选区域选择。（2）CNN特征提取。（3）分类与边界回归
候选区域选择：区域建议Region Proposal是一种传统的区域提取方法，基于启发式的区域提取方法，用的方法是ss，查看现有的小区域，合并两个最有可能的区域，重复此步骤，直到图像合并为一个区域，最后输出候选区域。然后将根据建议提取的目标图像标准化，作为CNN的标准输入可以看作窗口通过滑动获得潜在的目标图像，在RCNN中一般Candidate选项为1k-2k个即可，即可理解为将图片划分成1k~2k个网格，之后再对网格进行特征提取或卷积操作，这根据RCNN类算法下的分支来决定。然后基于就建议提取的目标图像将其标准化为CNN的标准输入。
CNN特征提取：标准卷积神经网络根据输入执行诸如卷积或池化的操作以获得固定维度输出。也就是说，在特征提取之后，特征映射被卷积和汇集以获得输出。
分类与边界回归：实际上有两个子步骤，一个是对前一步的输出向量进行分类（分类器需要根据特征进行训练）; 第二种是通过边界回归框回归（缩写为bbox）获得精确的区域信息。其目的是准确定位和合并完成分类的预期目标，并避免多重检测。在分类器的选择中有支持向量机SVM，Softmax等等；边界回归有bbox回归，多任务损失函数边框回归等 。

参考
https://blog.csdn.net/qq_33415086/article/details/79966463
https://cloud.tencent.com/developer/article/1144238
https://blog.csdn.net/dulingtingzi/article/details/80254038
https://blog.csdn.net/sdu_hao/article/details/88080791
https://blog.csdn.net/gentelyang/article/details/80469553