05_RNN到LSTM

博文配套视频课程：自然语言处理与知识图谱

---

并不完美的RNN

RNN面临的挑战

RNN有一定局限性。由于网络结构的设定离当前最近的词对当前词的影响也是最大的(瞬时记忆)。这在简单的句子中没有问题。但是在长句子或者段落的识别过程中就显得力不从心了(缺乏长期记忆)

传统的RNN结构如下

思考下几个问题

1. 小猫爱吃鱼 (瞬时记忆)
2. 小狗爱吃骨头 (瞬时记忆)
3. 我从小在中国长大，大学毕业后赴美留学 … 我真怀恋海外那段求学时光

回答如下问题

1. 小猫爱吃 ?
2. 小狗爱吃 ?
3. 主人公出了学会汉语外，还精通哪门语言 ?

Sigmoid与矩阵运算

sigmoid除了在逻辑回归可以应用二分类之外，还可以实现信息过滤功能, 由于它的范围是【0,1】, 因此一个C的值/矩阵乘以sigmoid则范围为【0,C】

import numpy as np
import matplotlib.pyplot as plt
# Sign(x) 是最简单的二分类激活函
x = np.arange(-5.0, 5.0, 0.1)
print(x)
# tf.nn.sigmoid源码
y = 1/(1+np.exp(-x))
plt.plot(x,y)
plt.show()

RNN到LSTM

支持长记忆的LSTM

LSTM (Long Short Term Memory) 本质上来说是SimpleRNN的一个变体，由于能够很好解决对前面词的记忆和遗忘问题。因此是目前更加通用的循环神经网络。

为了更好的理解LSTM结构，先熟悉和理解下面的定义 (非常重要)

1. LSTM是解决神经元层内循环处理过程中的梯度消失问题
2. LSTM是采用三重门：输入、遗忘、输出来实现遗忘和记忆功能
3. o（输出）、f（遗忘）i (输入) 三个门的公式都相同为：sigmoid(Wt * Xt + Ut * Ht-1 + b)
4. 每个门都使用了自己的权重和偏置 (因此LSTM参数总和是RNN的三倍)
5. 值与sigmod激活函数相乘就是信息的过滤，而值与值相加则是信息的融合
6. LSTM的记忆单元在任意时刻都会维持一个记忆值C

三重门原理介绍

内部结构为

不同门组合含义

input gate	forget gate	behavior
0	1	使用上一次信息,忽略新信息 Ct = C-1
1	1	新信息与过去状态相融合 Ct = Ct-1 + ~C
0	0	清除当前 memory Ct = 0 + 0
1	0	忽略上一次信息Ct-1,公式为：Ct = ~C

从LSTM到BiLSTM

BiLSTM 双向网络结构

BiLSTM (Bi-directional Long Short Term Memory)的缩写，是由向前LSTM和向后的LSTM组合而成，LSTM对句子进行建模还存在一个问题，无法编码从后向前的信息。而在有些时候后面的信息对当前这个词也是由影响的。

1. 苹果 … 乔布斯
2. 对于时序数据而言，从前向后仅仅是符合人类理解习惯，而对于机器而言从前到后与从后向前读入是没有区别的

不同方向的LSTM

一层BiLSTM结构

一层的bilstm，如果是多层的bilstm，则是两个不同方向的多层lstm按照上图拼接在一起，最终的每个时间步i输出hi =【hi,hi^】即如果lstm的隐层维度是50，那么bilstm的维度为100

BiLSTM代码实现

# from tensorflow.keras.layers import Dense,SimpleRNN,Embedding,LSTM,Bidirectional
#  LSTM：64400 + 1010  VS  Bi Lstm : 128800 + 2020   
rnn.add(Bidirectional(LSTM(units=100)))  # 第二层构建了100个RNN神经元
# LSTM: 1010   Bi Lstm: 2020 
rnn.add(Dense(units=10,activation=tf.nn.relu))
rnn.add(Dense(units=6,activation=tf.nn.softmax))  # 输出分类的结果
rnn.compile(loss='sparse_categorical_crossentropy',optimizer="adam",metrics=['accuracy'])
print(rnn.summary())
result = rnn.fit(x_train,y_train,batch_size=64,validation_split=0.3,epochs=1)
print(result)
print(result.history)