Elasticsearch是一个全文搜索引擎,可以快速地储存、搜索和分析海量数据。它是一个开源的搜索引擎,建立在 A p a c h e L u c e n e T M Apache Lucene^{TM} ApacheLuceneTM基础之上。ElasticSearch不仅仅是一个简易的Lucene封装,它可以被形容为:
- 具有分布式实时文档存储,每个字段可以被索引与搜索
- 一个分布式实时分析搜索引擎
- 能胜任上百个服务节点的扩展,并支持PB级别的结构化或者非结构化数据
关于Elasticsearch就不做过多的介绍了,下面开始做聊天机器人。
首先是Elasticsearch的安装,可以参考这篇文章:【ElasticSearch】win10 安装elasticSearch 6.6.1,另外我们还需要安装elasticsearch-analysis-ik用于中文分词。
然后接下来我们需要了解一下Elasticsearch的基本用法,当然我这里采用的是Python版本,它的基本使用可以参考这篇文章:Elasticsearch 基本介绍及其与 Python 的对接实现或者是参考官方API文档。
接下来是要准备语料了,我们可以使用小黄鸡的语料,链接为:用于对话系统的中英文语料。这个链接里还有其他的语料,需要的可以自取。
我将语料整理为csv格式,数据包含两列,一列为question,一列为answer,大致如下:
question,answer
呵呵,是王若猫的。
"我还喜欢她,怎么办",我帮你告诉她?发短信还是打电话?
短信,嗯嗯。我也相信
你知道谁么,肯定不是我,是阮德培
许兵是谁,吴院四班小帅哥
然后调用如下代码,将数据插入Elasticsearch。
class ESUtils(object):
def __init__(self, index_name, create_index=False):
self.es = Elasticsearch()
self.index