一、使用指定中文分词器
1.1 一个查询小例子
我们安装好es和kibana之后,就可以在kibana控制台开始我们的查询探索之旅。首先创建一个包含了两个字段“product"和"summary"的索引product_00:
PUT product_00 { "mappings": { "properties": { "product": { "type": "text" }, "summary": { "type": "text" } } } }
然后往索引里面插入文档
:
PUT product_00/_doc/01 { "product":"洋芋", "summary":"来自云南的土豆,香甜软糯" } PUT product_00/_doc/02 { "product":"西红柿", "summary":"来自四川的西红柿,酸甜多汁" } PUT product_00/_doc/03 { "product":"地瓜", "summary":"来自山东的地瓜,肉厚甜糯" }
然后 就可以开始愉快地搜索了~
同样的我们也可以搜索到土豆和地瓜,但是当我不小心搜索了一个跟蔬菜完全无关的词语“西班牙”时,奇怪的结果出现了,竟然也搜索出来了西红柿,这是我们完全不想要得到的搜索结果。
那么原因是什么呢,我们可以使用es的analyzer分析器功能来看一下。
GET product_00/_analyze { "field" : "product", "text": "西班牙" }
得到结果如下:
由此我们可以看出,在es进行match匹配时,是将搜索的文本拆分成单个的汉字进行搜索的,具体es搜索原理可以参见倒排索引。
另外我们也可以通过在查询语句里面增加"explain"选项,对查询结果进行解释:
我们暂时不需要理解这里面每一行的具体含义,但是可以大致理解一下,查询结果是因为匹配到了summary字段里面的”西“字。
然而实际上我们希望将”西班牙“、”西红柿“作为一个词来进行检索,不要将他们分开,可是默认的中文分词器是将每个中文汉字拆开了。
1.2 中文分词器
我们需要一个中文分词器,将文本按照正常逻辑分词。目前比较常见的中文分词器有ik、cutword、jieba等,本文使用jieba分词器,本文使用ik。
在线安装ik(GitHub - infinilabs/analysis-ik),运行下面的命令,然后重启es。安装好了之后我们得到了ik_smart和ik_max_word两个分词器,一般前者用于搜索时分词,后者用于索引时分词。
bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.4.1
其他ik离线安装方法和docker打包ik的方法可以参见这边文章。
验证ik分词器是否安装完好,如下图所见,西班牙已经作为一个单独的词语了。
1.3 索引和搜索时定义analyzer
安装了分词器之后,我们在创建索引时可以指定分词器
PUT product_01 { "settings": { "analysis": { "analyzer": { "default": { "type": "ik_max_word" }, "default_search": { "type": "ik_smart" } } } }, "mappings": { "properties": { "product": {"type": "text"}, "summary": {"type": "text"} } } }
还是按照前文插入三条蔬菜数据,然后再查询"西班牙"时,就不会再查出来"西红柿"了。
二、停用词和专有名词
2.1 一些检索时不希望匹配到的词
再看这样一个场景,搜索来自“贵州”的农产品,es里面没有贵州的蔬菜,所以搜索的结果应该是空,可实际上进行检索时却得到了如下的数据:
这并不是我们想要得到的结果,我们可以用highlight或者explain看一下匹配原因:
原来是查询词里面的“来自”和summary字段里面的词匹配上了,但是从搜索的角度来看,“来自贵州”用户的搜索意图实际上是“贵州”,而不希望“来自”这个词去匹配,那么对于这种情况可以使用到分词里面的stopword配置。
2.2 专有名词
再看这样一个场景,首先更新一下数据,在summary里面加上蔬菜公司“西红柿首富”和“咚咚买菜”,然后再根据蔬菜公司“西红柿首富”进行搜索,果不其然不仅搜出来了对应的公司也搜索出来了包含“西红柿”的文档。
在这种场景下我们希望“西红柿首富”字段作为一个专有的名词来进行索引和检索,这种情况我们可以使用到分词器的extraword配置。
2.3 配置stopword和extraword
针对上面两种场景,我们编辑 ```plugins/analysis-ik/config/```路径IKAnalyzer.cfg.xml文件,分别对扩展词文件和停用词文件进行配置扩展如下:
在当前路径下分别编辑这两个文件,在extra_stopword.dic
文件中新增一行“来自”
在my_extra_word.dic
文件里面新增一行"西红柿首富"。这样就完成了配置。
然后重启es,并重新插入数据(数据必须要重新插入,要不然直接检索会得不到数据,原因读者可以思考一下~)。
然后我们再次进行前面两个场景的检索,现在得到就是正确结果了
三、同义词
在查询时我们经常会遇到同义词查询的场景,比如“番茄”和“西红柿”,“猕猴桃”和“奇异果”等等。这种情况下可以使用Elasticsearch的synonyms功能。
首先,我们在Elasticsearch/config目录下,新建一个analysis文件夹,创建一个名叫synonyms.txt的文档,每一行编辑一系列的同义词,用逗号隔开。示例内容如下
土豆,洋芋 番茄,西红柿
然后定义同义词filter, 配置同义词文档路径(注意路径是以elasticsearch/config为根目录的相对路径),然后根据ik分词器扩展带有同义词的自定义分词器ik_smart_synonyms
,并将ik_smart_synonyms
配置成查询时分析器,创建索引如下:
PUT product { "settings": { "analysis": { "filter":{ "my_synonym_filter": { "type":"synonym", "synonyms_path":"analysis/synonyms.txt", "updateable":true } }, "analyzer": { "ik_smart_synonyms":{ "type":"custom", "tokenizer": "ik_smart", "filter":[ "my_synonym_filter" ] } } } }, "mappings": { "properties": { "product": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_smart_synonyms" }, "summary": { "type": "text", "analyzer": "ik_max_word", "search_analyzer": "ik_smart_synonyms" } } } }
插入两条测试数据:
PUT product/_doc/01 { "product":"洋芋", "summary":"来自云南的土豆,香甜软糯" } PUT product/_doc/02 { "product":"西红柿", "summary":"来自四川的西红柿,酸甜多汁" }
查询:
GET product/_search { "query": { "match": { "product": { "query":"番茄" } } } }
查询结果如下: