TensorFlow-10-基于 LSTM 建立一个语言模型

今日资料：
https://www.tensorflow.org/tutorials/recurrent
中文版：
http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/recurrent.html
代码：
https://github.com/tensorflow/models/blob/master/tutorials/rnn/ptb/ptb_word_lm.py

今天的内容是基于 LSTM 建立一个语言模型

人每次思考时不会从头开始，而是保留之前思考的一些结果，为现在的决策提供支持。RNN 的最大特点是可以利用之前的信息，即模拟一定的记忆，具体可以看我之前写过的这篇文章：
详解循环神经网络(Recurrent Neural Network)
http://www.jianshu.com/p/39a99c88a565

RNN 虽然可以处理整个时间序列信息，但是它记忆最深的还是最后输入的一些信号，而之前的信号的强度就会越来越低，起到的作用会比较