从软件工程的角度写机器学习7——-LSTM网络实现

LSTM网络实现

问题描述

影片评价问题：
输入一个英文句子，输出好/坏的二元评价，比如
The movie is very bad -> 0
Wonderful -> 1

算法思路

本图中的数字仅为示例，并非真实数据

Embedding层

在上一篇卷积神经网络的实现中，我们将类别直接映射为{0,0…1,…0}这样的向量，但对于单词而言，这个向量维度太大了（500个单词就是500维…），结合后面的时间序列展开会变成非常庞大，因此，我们需要新的方式。

新的方式就是引入一个Embedding Layer：
1､统计所有互不相同的单词个数，记为n。
2､先将单词转换为数字序号{0,1,2……,n-1}。
3､初始化一个 (n,m) 的系数矩阵。
4､读取序号所对应的行，这个m维向量即为转换结果
这个系数矩阵及这个映射即 Embedding Layer，系数矩阵通过后向传播算法训练。
毫无疑问，这个层的系数矩阵非常的大，训练它也是比较麻烦的，也可以用word2vec等现有的库去把单词转化为向量。

时间序列的处理

在情感分析这个问题中，每条句子的长短不一，而每个单词被映射为相同长度的向量，句子中的单词存在先后关系，因此构成了一个时间序列。

在实际计算中，时间序列按固定的迭代次数，展开处理。比如取定迭代次数为50,单词转化成的向量长度为10(m=10）,则展开的向量为50*10=500。

句子的长短不一，有的比50大，那就截断，只取最后50个单词；有的比50小，就需要引入mask，标志这个展开向量后面若干是无效的。

LSTM公式

LSTM 层的输入是一个 t*m 的向量，输出也是一个 t*m 的向量，在运算时，分成 t 个 m 长度的向量逐个计算：
$(x_0, x_1, x_2, ..., x_{t-1}, x_t) -> (h_0, h_1, h_2, ..., h_t)$

参考 http://deeplearning.net/tutorial/lstm.html
这篇文档讲得非常清楚，就是如下一系列的核心公式：
$i_t=\sigma(W_ix_t+U_ih_{t-1}+b_i)$
$\bar{C_t}=tanh(W_cx_t+U_ch_{t-1}+b_c)$
$f_t=\sigma(W_fx_t+U_{f}h_{t-1}+b_f)$
$C_t=i_t*\bar{C_t}+f_t*C_{t-1}$
$o_t = \sigma(W_ox_t+U_oh_{t-1}+b_o)$
$h_t = o_{t}*tanh(C_t)$

反向传播

Embedding 层的反向传播

Embedding 层的反向传播仅对系数有效。
在正向传播时记录下所选取的index，把相应的差分加到相应的行上去即可。
（详细待补）

LSTM 层的反向传播

LSTM层的反向传播需要分别计算
输入差： $\Delta x_0 , \Delta x_1 , ..., \Delta x_t$，
以及系数差：$\Delta W_i, \Delta U_i, \Delta b_i, \Delta W_c, \Delta U_c, \Delta b_c, \Delta W_f, \Delta U_f, \Delta b_f, \Delta W_o, \Delta U_o, \Delta b_o$
为了计算，需要分别对$i_t, \bar{C_t}, f_t, C_t, o_t, h_t$求导展开，大致思路可以参考下面的草稿图（右上角那幅图是计算输入差的，其余是计算系数差，式中计算单元均是矩阵，最后的连线是矩阵乘法，之前的是矩阵元素乘法）

需要注意的是：$\Delta h_i$包括两个部分，第一部分由 $\Delta h_{i+1}$ 传递过来，第二部分是外连的层传递的（如果是接的 max 层，那只有 $\Delta h_t$ 有输出层的反向传播）

LSTM的反向传播是相当麻烦的，如果实现了自动求导，会轻松不少。

代码工程

待补