aliceyangxi1987的博客

智能时代,做个终身学习者,持续迭代;公众号-极客X养成计划;简书-不会停的蜗牛...

TensorFlow-10-基于 LSTM 建立一个语言模型

今日资料:
https://www.tensorflow.org/tutorials/recurrent
中文版:
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html
代码:
https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

今天的内容是基于 LSTM 建立一个语言模型

人每次思考时不会从头开始,而是保留之前思考的一些结果,为现在的决策提供支持。RNN 的最大特点是可以利用之前的信息,即模拟一定的记忆,具体可以看我之前写过的这篇文章:
详解循环神经网络(Recurrent Neural Network)
http://www.jianshu.com/p/39a99c88a565

RNN 虽然可以处理整个时间序列信息,但是它记忆最深的还是最后输入的一些信号,而之前的信号的强度就会越来越低,起到的作用会比较小。
LSTM 可以改善长距离依赖的问题,不需要特别复杂的调试超参数就可以记住长期的信息。关于 LSTM 可以看这一篇文章:
详解 LSTM
http://www.jianshu.com/p/dcec3f07d3b5

今天要实现一个语言模型,它是 NLP 中比较重要的一部分,给上文的语境后,可以预测下一个单词出现的概率。


首先下载 ptb 数据集,有一万个不同的单词,有句尾的标记,并且将罕见的词汇统一处理成特殊字符;

$ wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz
$ tar xvf simple-examples.tgz

PTBInput,
定义语言模型处理输入数据的一些参数,包括 LSTM 的展开步数 num_steps,用 reader.ptb_producer 读取数据和标签:

PTBModel,
def __init__(self, is_training, config, input_) 包括三个参数,训练标记,配置参数以及输入数据的实例;
把这几个变量读取到本地,hidden_size 是隐藏层的节点数,vocab_size 是词汇表的大小;

def lstm_cell(),设定基本的 LSTM 单元,用的是 tf.contrib.rnn.BasicLSTMCell
如果 if is_training and config.keep_prob < 1 这个条件的话,在 LSTM 单元后面可以加一个 dropout 层;
再用 tf.contrib.rnn.MultiRNNCell 把多层的 LSTM 堆加到一起;
cell.zero_state 将 LSTM 的初始状态设置为0;

接下来是 embedding 矩阵,行数是词汇表的大小,列数是每个单词的向量表达的维度,在训练过程中,它可以被优化和更新;

接下来我们要定义输出,限制一下反向传播时可以展开的步数,将 inputs 和 state 传到 LSTM,然后把输出结果添加到 outputs 的列表里;

然后将输出的内容串到一起,接下来 softmax 层,接着要定义损失函数 loss,它的定义形式是这样的:

然后我们要加和整个 batch 的误差,再平均到每个样本的误差,并且保留最终的状态,如果不是训练状态就直接返回;

接下来是定义学习速率,根据前面的 cost 计算一下梯度,并将梯度的最大范数设置好,相当于正则化的作用,可以防止梯度爆炸;

这个学习速率还可以更新,将其传入给 _new_lr,再执行 _lr_update 完成修改:

接下来可以定义几种不同大小的模型的参数,其中有学习速率,还有梯度的最大范数,还是 LSTM 的层数,反向传播的步数,隐含层节点数,dropout 保留节点的比例,学习速率的衰减速度:

run_epoch,是定义训练一个 epoch 数据的函数,首先初始化 costs 还有 iters,state;
将 LSTM 的所有 state 加入到 feed_dict 中,然后会生成结果的字典表 fetches,其中会有 cost 和 final_state
每完成 10% 的 epoch 就显示一次结果,包括 epoch 的进度,perplexity(是cost 的自然常数指数,这个指标越低,表示预测越好),还有训练速度(单词数每秒):

main() 中:
reader.ptb_raw_data 读取解压后的数据;
得到 train_data, valid_data, test_data 数据集;

用 PTBInput 和 PTBModel 分别定义用来训练的模型 m,验证的模型 mvalid,测试的模型 mtest;

m.assign_lr 对 m 应用累计的 learning rate;

每个循环内执行一个 epoch 的训练和验证,输出 Learning rate,Train Perplexity, Valid Perplexity。


推荐阅读
历史技术博文链接汇总
也许可以找到你想要的

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/aliceyangxi1987/article/details/72969652
个人分类: TensorFlow
所属专栏: TensorFlow
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭