TensorFlow-10-基于 LSTM 建立一个语言模型

原创 2017年06月09日 20:18:33

今日资料:
https://www.tensorflow.org/tutorials/recurrent
中文版:
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html
代码:
https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

今天的内容是基于 LSTM 建立一个语言模型

人每次思考时不会从头开始,而是保留之前思考的一些结果,为现在的决策提供支持。RNN 的最大特点是可以利用之前的信息,即模拟一定的记忆,具体可以看我之前写过的这篇文章:
详解循环神经网络(Recurrent Neural Network)
http://www.jianshu.com/p/39a99c88a565

RNN 虽然可以处理整个时间序列信息,但是它记忆最深的还是最后输入的一些信号,而之前的信号的强度就会越来越低,起到的作用会比较小。
LSTM 可以改善长距离依赖的问题,不需要特别复杂的调试超参数就可以记住长期的信息。关于 LSTM 可以看这一篇文章:
详解 LSTM
http://www.jianshu.com/p/dcec3f07d3b5

今天要实现一个语言模型,它是 NLP 中比较重要的一部分,给上文的语境后,可以预测下一个单词出现的概率。


首先下载 ptb 数据集,有一万个不同的单词,有句尾的标记,并且将罕见的词汇统一处理成特殊字符;

$ wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz
$ tar xvf simple-examples.tgz

PTBInput,
定义语言模型处理输入数据的一些参数,包括 LSTM 的展开步数 num_steps,用 reader.ptb_producer 读取数据和标签:

PTBModel,
def __init__(self, is_training, config, input_) 包括三个参数,训练标记,配置参数以及输入数据的实例;
把这几个变量读取到本地,hidden_size 是隐藏层的节点数,vocab_size 是词汇表的大小;

def lstm_cell(),设定基本的 LSTM 单元,用的是 tf.contrib.rnn.BasicLSTMCell
如果 if is_training and config.keep_prob < 1 这个条件的话,在 LSTM 单元后面可以加一个 dropout 层;
再用 tf.contrib.rnn.MultiRNNCell 把多层的 LSTM 堆加到一起;
cell.zero_state 将 LSTM 的初始状态设置为0;

接下来是 embedding 矩阵,行数是词汇表的大小,列数是每个单词的向量表达的维度,在训练过程中,它可以被优化和更新;

接下来我们要定义输出,限制一下反向传播时可以展开的步数,将 inputs 和 state 传到 LSTM,然后把输出结果添加到 outputs 的列表里;

然后将输出的内容串到一起,接下来 softmax 层,接着要定义损失函数 loss,它的定义形式是这样的:

然后我们要加和整个 batch 的误差,再平均到每个样本的误差,并且保留最终的状态,如果不是训练状态就直接返回;

接下来是定义学习速率,根据前面的 cost 计算一下梯度,并将梯度的最大范数设置好,相当于正则化的作用,可以防止梯度爆炸;

这个学习速率还可以更新,将其传入给 _new_lr,再执行 _lr_update 完成修改:

接下来可以定义几种不同大小的模型的参数,其中有学习速率,还有梯度的最大范数,还是 LSTM 的层数,反向传播的步数,隐含层节点数,dropout 保留节点的比例,学习速率的衰减速度:

run_epoch,是定义训练一个 epoch 数据的函数,首先初始化 costs 还有 iters,state;
将 LSTM 的所有 state 加入到 feed_dict 中,然后会生成结果的字典表 fetches,其中会有 cost 和 final_state
每完成 10% 的 epoch 就显示一次结果,包括 epoch 的进度,perplexity(是cost 的自然常数指数,这个指标越低,表示预测越好),还有训练速度(单词数每秒):

main() 中:
reader.ptb_raw_data 读取解压后的数据;
得到 train_data, valid_data, test_data 数据集;

用 PTBInput 和 PTBModel 分别定义用来训练的模型 m,验证的模型 mvalid,测试的模型 mtest;

m.assign_lr 对 m 应用累计的 learning rate;

每个循环内执行一个 epoch 的训练和验证,输出 Learning rate,Train Perplexity, Valid Perplexity。


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

版权声明:本文为博主原创文章,未经博主允许不得转载。

利用lstm模型实现短文本主题相似——qjzcy的博客

利用lstm模型实现短文本主题相似——qjzcy的博客目录: 一、Rnn模型结构 二、LSTM模型的Topic应用方法 三、实验结果对比一、Rnn模型结构:这里是rnn模型的一个结构图,如图1 ...
  • qjzcy
  • qjzcy
  • 2016年08月21日 20:54
  • 5291

深度学习之六,基于RNN(GRU,LSTM)的语言模型分析与theano代码实现

引言前面已经介绍过RNN的基本结构,最基本的RNN在传统的BP神经网络上,增加了时序信息,也使得神经网络不再局限于固定维度的输入和输出这个束缚,但是从RNN的BPTT推导过程中,可以看到,传统RNN在...

给最真的自己加上static final

有时候改变,并不一定是成长,给最真的自己加上static final属性,保留一点最真实的自己。 前段时间,技术交流群里的一个好基友波哥,彻底抛弃Android转向javaEE的怀抱,做得很彻底,直...

通向架构师的道路(第六天)之漫谈基于数据库的权限系统的设计

一、权限系统这一天将讲述一个基本的基于数据库的权限管理系统的设计,在这一天的课程的最后将讲述“左右值无限分类实现算法”如何来优化“系统菜单”的结构而告终。今天的内容和前几天的基础框架是一样的它们都属于...

Tensorflow实战学习(三十五)【实现基于LSTM语言模型】

神经结构进步、GPU深度学习训练效率突破。RNN,时间序列数据有效,每个神经元通过内部组件保存输入信息。 卷积神经网络,图像分类,无法对视频每帧图像发生事情关联分析,无法利用前帧图像信息。RNN最大...
  • WuLex
  • WuLex
  • 2017年11月22日 09:20
  • 80

TensorFlow实现经典深度学习网络(6):TensorFlow实现基于LSTM的语言模型

TensorFlow实现经典深度学习网络(6):TensorFlow实现基于LSTM的语言模型 循环神经网络(Recurrent Neural Networks,RNNs)出现于20世纪80年代,由于...

tensorflow38《TensorFlow实战》笔记-07-02 TensorFlow实现基于LSTM的语言模型 code

01 reader.py# Copyright 2015 The TensorFlow Authors. All Rights Reserved. # # Licensed under the Apa...
  • longji
  • longji
  • 2017年04月15日 12:09
  • 1230

基于LSTM的神经网络语言模型的实现

  • 2016年05月26日 21:44
  • 27.96MB
  • 下载

MXNet官方文档教程(3):基于多层LSTM的字符级语言模型

这是MXNet继上一篇我们介绍的人工神经网络识别手写数字之后另一个进阶(Advanced)示例,本文使用了最新的LSTM模型。由于本人对自然语言处理方向并无深入了解,故只进行了简单的直译,具体细节术语...

dl4mt:lstm语言模型训练,代码讲解

Github代码链接:https://github.com/nyu-dl/dl4mt-tutorial/blob/master/session0/lm.py # -*- coding: utf-8 -...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TensorFlow-10-基于 LSTM 建立一个语言模型
举报原因:
原因补充:

(最多只允许输入30个字)