自然语言处理之长短时记忆网络(六)

1. 情感倾向性分析

长短时记忆网络的基本概念

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。

• LSTM网络结构
• LSTM的门控机制
• LSTM的变种

2 LSTM网络结构

2.1 LSTM网络结构及其特点

• 基于RNN结构设计，从左到有依次阅读整个句子，并不断更新记忆。
• LSTM在不同cell之间传递的是2个记忆信息，而不像循环神经网络一样只有一个记忆信息。
  

2.2 LSTM内部结构

• 区别于循环循环神经网络，LSTM最大的特点是，在更新内部记忆的时候，引入了遗忘机制，那就是：允许网络忘记一些过去阅读过程中看到的一些无关紧要的内容，只保留有用的历史内容，通过这种方式，延长了记忆长度。
  

3 LSTM门控机制

3.1 LSTM的关键：细胞状态

• 细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面保持不变会很容易实现。
  
• LSTM通过“门控机制”让信息选择性通过，来去除或者增加信息到细胞状态
• 包含一个sigmoid神经网络层和一个piontwise乘法操作。
• Sigmiod层输出0到1之间的概率值，描述每个部分有多少量可以通过。
  

3.2 遗忘门

• 第一步：决定从“细胞状态”中丢弃什么信息
  

3.2 输入门

• 第二步：决定放什么信息到“细胞状态中”
  

3.3 更新状态

• 第三步：更新细胞状态
  

4 LSTM变种

4.1 变种1

• 增加窥视孔链接（peephole connection）
• 让门层也会接受细胞状态的输入
  

4.2 变种2

• 通过使用coupled忘记和输入门
• 之前是分开确定需要忘记和添加的信息，这里是一同作出决定。
  

4.3 变种3:GRU

• GRU有两个门，分别为更新门和重置门，即图中的zr和rt更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越少，重置门用于控制忽略前一时刻的信息的程度，重置门的值越小说明忽略的越多。