TensorFlow-10-基于 LSTM 建立一个语言模型

原创 2017年06月09日 20:18:33

今日资料:
https://www.tensorflow.org/tutorials/recurrent
中文版:
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html
代码:
https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

今天的内容是基于 LSTM 建立一个语言模型

人每次思考时不会从头开始,而是保留之前思考的一些结果,为现在的决策提供支持。RNN 的最大特点是可以利用之前的信息,即模拟一定的记忆,具体可以看我之前写过的这篇文章:
详解循环神经网络(Recurrent Neural Network)
http://www.jianshu.com/p/39a99c88a565

RNN 虽然可以处理整个时间序列信息,但是它记忆最深的还是最后输入的一些信号,而之前的信号的强度就会越来越低,起到的作用会比较小。
LSTM 可以改善长距离依赖的问题,不需要特别复杂的调试超参数就可以记住长期的信息。关于 LSTM 可以看这一篇文章:
详解 LSTM
http://www.jianshu.com/p/dcec3f07d3b5

今天要实现一个语言模型,它是 NLP 中比较重要的一部分,给上文的语境后,可以预测下一个单词出现的概率。


首先下载 ptb 数据集,有一万个不同的单词,有句尾的标记,并且将罕见的词汇统一处理成特殊字符;

$ wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz
$ tar xvf simple-examples.tgz

PTBInput,
定义语言模型处理输入数据的一些参数,包括 LSTM 的展开步数 num_steps,用 reader.ptb_producer 读取数据和标签:

PTBModel,
def __init__(self, is_training, config, input_) 包括三个参数,训练标记,配置参数以及输入数据的实例;
把这几个变量读取到本地,hidden_size 是隐藏层的节点数,vocab_size 是词汇表的大小;

def lstm_cell(),设定基本的 LSTM 单元,用的是 tf.contrib.rnn.BasicLSTMCell
如果 if is_training and config.keep_prob < 1 这个条件的话,在 LSTM 单元后面可以加一个 dropout 层;
再用 tf.contrib.rnn.MultiRNNCell 把多层的 LSTM 堆加到一起;
cell.zero_state 将 LSTM 的初始状态设置为0;

接下来是 embedding 矩阵,行数是词汇表的大小,列数是每个单词的向量表达的维度,在训练过程中,它可以被优化和更新;

接下来我们要定义输出,限制一下反向传播时可以展开的步数,将 inputs 和 state 传到 LSTM,然后把输出结果添加到 outputs 的列表里;

然后将输出的内容串到一起,接下来 softmax 层,接着要定义损失函数 loss,它的定义形式是这样的:

然后我们要加和整个 batch 的误差,再平均到每个样本的误差,并且保留最终的状态,如果不是训练状态就直接返回;

接下来是定义学习速率,根据前面的 cost 计算一下梯度,并将梯度的最大范数设置好,相当于正则化的作用,可以防止梯度爆炸;

这个学习速率还可以更新,将其传入给 _new_lr,再执行 _lr_update 完成修改:

接下来可以定义几种不同大小的模型的参数,其中有学习速率,还有梯度的最大范数,还是 LSTM 的层数,反向传播的步数,隐含层节点数,dropout 保留节点的比例,学习速率的衰减速度:

run_epoch,是定义训练一个 epoch 数据的函数,首先初始化 costs 还有 iters,state;
将 LSTM 的所有 state 加入到 feed_dict 中,然后会生成结果的字典表 fetches,其中会有 cost 和 final_state
每完成 10% 的 epoch 就显示一次结果,包括 epoch 的进度,perplexity(是cost 的自然常数指数,这个指标越低,表示预测越好),还有训练速度(单词数每秒):

main() 中:
reader.ptb_raw_data 读取解压后的数据;
得到 train_data, valid_data, test_data 数据集;

用 PTBInput 和 PTBModel 分别定义用来训练的模型 m,验证的模型 mvalid,测试的模型 mtest;

m.assign_lr 对 m 应用累计的 learning rate;

每个循环内执行一个 epoch 的训练和验证,输出 Learning rate,Train Perplexity, Valid Perplexity。


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Go实战--go语言操作PostgreSQL数据库(github.com/lib/pq)

生命不止,继续 Go go go !!!之前关于golang操作数据库的博客:Go实战–go语言操作MySQL数据库(go-sql-driver/mysql)Go实战–go语言操作sqlite数据库(...

技术与技术人员的价值

在我工作到第四年出头时,总是感觉自己的价值被低估了,换个说法就是感觉工资低了。当时,总觉得技术不如管理,但又听闻有人一直做技术也有到年薪百万的,虽不在身边,但江湖总有这样的传说。再环顾周身环境,似乎除...

【机器学习】半监督学习几种方法

转自:http://jiangkeke.blog.hexun.com/42322032_d.html 1.Self-training algorithm(自训练算法) 这个是最早提出的一种...

tensorflow架构

TensorFlow,以下简称TF,是Google去年发布的机器学习平台,发布以后由于其速度快,扩展性好,推广速度还是蛮快的。江湖上流传着Google的大战略,Android占领了移动端,TF占领神经...

caffe源码解析 — caffe.proto

caffe.proto

我的硬汉观——《丧钟为谁而鸣》读书感悟

谁都不是一座岛屿,自成一体;每个人都是欧洲大陆的一小块,那本土的一部分;如果一块泥巴被海浪冲掉,欧洲就小了一点,如果一座海岬,如果你的朋友或你自己的庄园被冲掉,也是如此;任何人的死亡使我有所缺损,因为...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)