用 TensorFlow 做个聊天机器人

上一次提到了不错的学习聊天机器人的资源，不知道小伙伴们有没有去学习呢。
自己动手做聊天机器人教程
我最近每天都会学一点，拿出解读来和大家分享一下。

本文结构：

• 1. 聊天机器人的架构简图
• 1. 用 TensorFlow 实现 Chatbot 的模型
• 1. 如何准备 chatbot 的训练数据
• 1. Chatbot 源码解读

---

1. 聊天机器人的架构简图

学习资源：
[自己动手做聊天机器人 九-聊天机器人应该怎么做]
(http://www.shareditor.com/blogshow/?blogId=73)

聊天机器人的工作流程大体为：提问－检索－答案抽取。

提问：就是要分析主人的问句中关键词，提问类型，还有真正想知道的东西。

检索：根据前一步的分析，去找答案。

答案抽取：找到的答案，并不能直接应用，还要整理成真正有用的，可以作为答案的回答。

涉及到的关键技术如图中所示。

看不清图的话，就是酱紫：

问句解析：
中文分词、词性标注、实体标注、概念类别标注、句法分析、语义分析、逻辑结构标注、指代消解、关联关系标注、问句分类、答案类别确定；

海量文本知识表示：
网络文本资源获取、机器学习方法、大规模语义计算和推理、知识表示体系、知识库构建

答案生成与过滤：
候选答案抽取、关系推演、吻合程度判断、噪声过滤

---

2. 用 TensorFlow 实现 Chatbot 的模型

之前有根据 Siraj 的视频写过一篇《自己动手写个聊天机器人吧》，
文章里只写了主函数的简单过程：Data－Model－Training，是用 Lua 实现的，详细的代码可以去他的 github 上学习

下面这篇文章是用 TensorFlow + tflearn 库 实现，在 建模， 训练 和 预测 等环节可以学到更多细节：

学习资源：自己动手做聊天机器人 三十八-原来聊天机器人是这么做出来的

两篇的共同点是都用了 Seq2Seq 来实现。

LSTM的模型结构为：

细节的话可以直接去看上面那篇原文，这里 po 出建立模型阶段简要的流程图和过程描述：

• 先将原始数据 300w chat 做一下预处理，即 切词，分为 问答对。

• 然后用 word2vec 训练出词向量，生成二进制的词向量文件。

作为 Input data X 传入下面流程：

• question 进入 LSTM 的 encoder 环节，answer 进入 decoder 环节，

• 分别生成 output tensor。

• 其中 decoder 是一个词一个词的生成结果，将所有结果加入到一个 list 中。

• 最后和 encoder 的输出，一起做为下一环节 Regression 的输入，并传入 DNN 网络。

---

3. 如何准备 chatbot 的训练数据

学习资源：
自己动手做聊天机器人 三十八-原来聊天机器人是这么做出来的

训练数据的生成过程如下：

• 首先在 input file 里读取每一行，并根据 ‘｜’ 拆分成 question 和 answer 句子。
• 每个句子，都将 word 通过 wo