Elasticsearch(七)安装中文分词器

本文介绍了Elasticsearch内置分词器的特性,包括标准分词器、简单分词器、空格分词器和语言分词器,并指出它们对中文分词效果不佳。接着,文章详细讲解了如何安装和测试由medcl开发的IKAnalyzer插件,展示其对中文和英文的优秀分词效果,从而推荐使用IKAnalyzer作为中文分词解决方案。
摘要由CSDN通过智能技术生成

分词组件

elasticsearch提供了几个内置的分词器:standard analyzer(标准分词器)、simple analyzer(简单分词器)、whitespace analyzer(空格分词器)、language analyzer(语言分词器),而如果我们不指定分词器类型的话,elasticsearch默认是使用标准分词器的。那接下来我们先来看看这几种分词器的特点。
ps:我们可以通过分词器测试api来看看每个分词器的特点,语法为:

POST _analyze
{
  "analyzer": "分词器类型",
  "text": "我是一个中国人,张姓在中国是大姓。"
}

返回的结果就是我们使用该分词器给搜索关键词分词的结果。

标准分词器

测试标准分词器分词效果:
标准分词器

通过测试结果我们可以发现,使用标准分词器的分词结果,是去掉标点符号,然后一个一个字符来分词,这就是我们上一章提到的中文搜索的问题,这显然不是我们想要的分词效果。那我们接着看下一个分词器。

简单分词器

测试标准分词器分词效果:
简单分词器
通过上面的测试结果发现,简单分词器它是通过标点符号来分词的,如果我整个搜索关键词都没有标点符号,那么它就不能分词了,以搜索关键词原样输出,这种也不是我们想要的分词效果。

空格分词器

测试空格分词器分词效果:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值