上一次提到了不错的学习聊天机器人的资源,不知道小伙伴们有没有去学习呢。
自己动手做聊天机器人教程
我最近每天都会学一点,拿出解读来和大家分享一下。
本文结构:
-
- 聊天机器人的架构简图
-
- 用 TensorFlow 实现 Chatbot 的模型
-
- 如何准备 chatbot 的训练数据
-
- Chatbot 源码解读
1. 聊天机器人的架构简图
学习资源:
[自己动手做聊天机器人 九-聊天机器人应该怎么做]
(http://www.shareditor.com/blogshow/?blogId=73)
聊天机器人的工作流程大体为:提问-检索-答案抽取。
提问:就是要分析主人的问句中关键词,提问类型,还有真正想知道的东西。
检索:根据前一步的分析,去找答案。
答案抽取:找到的答案,并不能直接应用,还要整理成真正有用的,可以作为答案的回答。
涉及到的关键技术如图中所示。
看不清图的话,就是酱紫:
问句解析:
中文分词、词性标注、实体标注、概念类别标注、句法分析、语义分析、逻辑结构标注、指代消解、关联关系标注、问句分类、答案类别确定;
海量文本知识表示:
网络文本资源获取、机器学习方法、大规模语义计算和推理、知识表示体系、知识库构建
答案生成与过滤:
候选答案抽取、关系推演、吻合程度判断、噪声过滤
2. 用 TensorFlow 实现 Chatbot 的模型
之前有根据 Siraj 的视频写过一篇《自己动手写个聊天机器人吧》,
文章里只写了主函数的简单过程:Data-Model-Training,是用 Lua 实现的,详细的代码可以去他的 github 上学习
下面这篇文章是用 TensorFlow + tflearn 库 实现,在 建模, 训练 和 预测 等环节可以学到更多细节:
学习资源:自己动手做聊天机器人 三十八-原来聊天机器人是这么做出来的
两篇的共同点是都用了 Seq2Seq 来实现。
LSTM的模型结构为:
细节的话可以直接去看上面那篇原文,这里 po 出建立模型阶段简要的流程图和过程描述:
先将原始数据 300w chat 做一下预处理,即 切词,分为 问答对。
然后用 word2vec 训练出词向量,生成二进制的词向量文件。
作为 Input data X 传入下面流程:
question 进入 LSTM 的 encoder 环节,answer 进入 decoder 环节,
分别生成 output tensor。
其中 decoder 是一个词一个词的生成结果,将所有结果加入到一个 list 中。
最后和 encoder 的输出,一起做为下一环节 Regression 的输入,并传入 DNN 网络。
3. 如何准备 chatbot 的训练数据
学习资源:
自己动手做聊天机器人 三十八-原来聊天机器人是这么做出来的
训练数据的生成过程如下:
- 首先在 input file 里读取每一行,并根据 ‘|’ 拆分成 question 和 answer 句子。
- 每个句子,都将 word 通过 wo