最近学tensorflow里面的RNN,tensorflow框架下给RNN封装了很多方便利用的函数模块。RNN在自然语言处理中使用的较为广泛,https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/ptb, 官网给的这个例子就是基于NLP的,根据上文预测下一个词,再讲RNN的结构之前,感觉数据处理这块有必要详细的总结一下,从官网这个例子入手,分析一下reader.py如何处理输入文档。
第一段将输入的文本文字读入:
def _read_words(filename):
with tf.gfile.GFile(filename, "r") as f:
return f.read().decode("utf-8").replace("\n", "<eos&g