详细说明 elasticsearch 之分词器配置 (IK+pinyin插件)

最新推荐文章于 2024-10-02 11:30:00 发布
最新推荐文章于 2024-10-02 11:30:00 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： 搜索引擎（VIP专栏） 文章标签： elasticsearch 分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34820803/article/details/107519077
版权
本文介绍了如何在Elasticsearch 5.6.9版本中配置IK和Pinyin分词器，包括下载、安装及测试过程。通过IK分词器的ik_smart和ik_max_word模式对比，以及拼音分词器的详细拼音拆分功能，展示了分词在全文搜索中的应用。最后，给出了如何在索引创建和字段映射中设置自定义分词器的示例。
摘要由CSDN通过智能技术生成

系统：windows 10

elasticsearch版本：5.6.9

es分词的选择

  • 使用es是考虑服务的性能调优，通过读写分离的方式降低频繁访问数据库的压力，至于分词的选择考虑主要是根据目前比较流行的分词模式，根据参考文档自己搭建测试。

es配置目录结构

在此先贴出es下plugins的目录结构，避免安装时一脸茫然(出自本人配置目录，可根据自身需要进行调整)：

es插件目录结构：   

 ik压缩包内文件列表：      

pinyin压缩包内文件目录：

IK 分词器

了解本专栏 订阅专栏 解锁全文 超级会员免费看
杰克说
关注
专栏目录
订阅专栏
如何在Elasticsearch中安装中文分词器(IK+pinyin)
大龄老码农
04-20 1223
如何在Elasticsearch中安装中文分词器(IK+pinyin) 如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入中文的分词器就能解决这个问题。 本篇文章按照下面的内容进行描述： 分词器的作用 安装IK 简单的测试 模拟测
elasticsearch-5.6.1分词插件ik+pinyin
01-07
elasticsearch5.6.1版本的ik和拼音分词，上边的插件是已经整理好了的可以直接使用，解压后有两个文件放在elasticsearch5.6.1安装目录下的plugins目录下就可以了。注意版本对应的是5.6.1版本对应不上启动elastic...
【ES教程】Elasticsearch集群安装分词插件+拼音插件到Liunx CentOS 8.0
小廖的博客
02-11 489
【分词插件包】：推荐大家到网上搜索，我也是检索到的，不同版本使用不同的分词包 https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.6.16 根据自己的项目，修改自己的版本 https://github.com/medcl/elasticsearch-analysis-pinyin/archive/v5.6.8.zip 【安装分词插件】 运行如下命令： # 进入软件目录 cd /usr/local/soft
第61节：索引管理_快速上机动手实战修改分词器以及定制自己的分词器
qq_35524586的博客
03-05 211
课程大纲 1、默认的分词器 standard standard tokenizer：以单词边界进行切分 standard token filter：什么都不做 lowercase token filter：将所有字母转换为小写 stop token filer（默认被禁用）：移除停用词，比如a the it等等 2、修改分词器的设置 启用english...
Elasticsearch中分词插件介绍和配置、安装，以及IK分词器如何使用？
最新发布
路过我的生活呀
10-02 1231
可以通过配置 IK 分词器的用户词典来增加或修改分词规则，例如添加特定的领域术语或者过滤停用词。
ElasticSearch + IK分词 + 拼音分词
Jason
03-06 2977
Docker 安装 ES 因为是测试需要，所以跟公司版本保持一致即可 sudo docker pull elasticsearch:7.4.2 sudo mkdir -p /data/es_home/config/config sudo mkdir -p /data/es_home/config/data sudo mkdir -p /data/es_home/config/plugins echo "http.host: 0.0.0.0" >> /data/es_home/config/e
五分钟带你玩转Elasticsearch（八）ik分词器吐血总结
小鲍侃java
06-02 679
按照上文安装成功 分词语法 GET _analyze?pretty { "analyzer": "ik_max_word", "text": "二十四口交换机" } GET _analyze?pretty { "analyzer": "ik_smart", "text": "二十四口交换机" } ik_max_word：会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人
elasticsearch自定义分词器--中文分词器与拼音分词器结合
gaoyan601的博客
06-22 1334
之前已经分别单独介绍了中文分词器（IK）和拼音分词器的使用方式，本节重点介绍将中文分词器和拼音分词器结合使用的方式，即针对同一个字段即可用中文分词检索，也可以用拼音检索。 废话不多说，直接上配置 PUT /pinyin-ik-test/ { "index": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik..
elasticsearch 7.13.2 ik pinyin 繁体 分词器 备份
02-28
IK分词器是Elasticsearch中常用的中文分词插件，特别适合处理中文文本。在7.13.2版本中，IK分词器可能已经进行了升级，以增强对复杂中文语境的理解和处理能力，包括成语、专业术语等。IK分词器可以根据上下文动态...
es-analysis-ik+pinyin-7.6.2.rar
07-14
《Elasticsearch中文分词插件IK与Pinyin分析器7.6.2版详解》 在信息检索和大数据分析领域，Elasticsearch（ES）因其高效、灵活的全文搜索引擎特性而广受欢迎。然而，对于中文文档的处理，Elasticsearch的默认分析器...
Elasticsearch拼音和ik分词器的结合应用
weixin_30393907的博客
10-31 335
一、创建索引时，自定义拼音分词和ik分词 PUT /my_index { "index": { "analysis": { "analyzer": { "ik_pinyin_analyzer": { 自定义分词name "type": "custom", ...
（2）ElasticSearch文档的基本操作与分词
killerofjava的博客
05-15 492
一、文档的基本CRUD与批量操作 1、文档的CRUD操作 （1）Type名，约定都用_doc （2）Create：如果ID已经存在，会失败 （3）Index：如果ID不存在，创建新的文档。否则，先删除现有的文档，在创建新的文档，版本会增加。 （4）Update：文档必须已经存在，更新只会对相应字段做增量修改 2、Create一个文档 （1）支持自动生成文档ID和指定文档ID两种方式 （2）通过调用“post movies/_doc”，系统会自动生成dociment id （3）使用http put
Elasticsearch：简体繁体转换分词器 - STConvert analysis
Elastic 中国社区官方博客
09-01 2936
我的前同事 Medcl 大神，在上也创建了一个转换简体及繁体的分词器。这个在我们的很多的实际应用中也是非常有用的，比如当我的文档是繁体的，但是我们想用中文对它进行搜索。
ElasticSearch6.5 使用ik+拼音分词
纸上得来终觉浅
12-26 4567
ElasticSearch安装中文分词插件 ```linux cd /usr/local/src/elasticsearch-6.5.2 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.2/elasticsearch-analys...
Elasticsearch学习笔记--ES-pinyin分词器安装
qq_36697880的博客
05-25 2380
一、ES-pinyin分词器安装 该安装地址可以参考github开源项目elasticsearch-analysis-pinyin 手动安装 手动下载安装包，安装包地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases，需要注意的是要下载与自己版本一致的，版本不一致的可能会有问题。 在es的安装地址下，plugins文件夹中创建目录pinyin 解压安装包到pinyin文件夹中 使用es命令安装 进入es安装目录bin
Elasticsearch 安装ik和pinyin分词器——elasticsearch6.5.4
@羲凡—只为更好的活着
04-30 1028
@羲凡——只为了更好的活着 Elasticsearch 安装IK分词器——elasticsearch6.5.4 默认你已经安装好elasticsearch6.5.4，如果没有请先参照我另一篇博客 https://blog.csdn.net/weixin_42003671/article/details/89487433 。本文也是用 deptest30、deptest33、deptest34 三台...
ES 分词器使用和配置
小P聊技术
03-06 4317
1 介绍 主要介绍索引请求的基础API操作，使用postman进行请求，接口请求的前缀地址统一为elasticsearch 部署IP地址+端口号（例如 http://192.168.51.4:9200 。 2 内置分词器 分词器 介绍 Standard Analyzer 默认分词器，按词切分，小写处理 Simple Analyzer 按照非字母切分(符号被过滤), 小写处理 Stop Analyzer 小写处理，停用词过滤(the,a,is) Whitespace Analyze
Elasticsearch之插件es ik配置自定义中文分词词典
热门推荐
晴空马仔的博客
03-16 1万+
1. 首先需要安装好ik 可以参考本人blog http://blog.csdn.net/qq_30581017/article/details/79533240 或者github地址下载对应版本的ik: https://github.com/medcl/elasticsearch-analysis-ik 2. 配置自定义中文分词词典 如果宝宝们已经安装好ik,在es中测试分词成功...
elasticsearch中文IK+Pinyin分词器
weixin_34005042的博客
11-08 438
2019独角兽企业重金招聘Python工程师标准>>> ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杰克说

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值