Elasticsearch笔记六之中文分词器及自定义分词器

最新推荐文章于 2024-03-09 21:14:06 发布
VIP文章 最新推荐文章于 2024-03-09 21:14:06 发布
阅读量1.9w 收藏 9
点赞数 2
分类专栏： Elasticsearch 文章标签： 中文分词器 自定义分词器 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ty4315/article/details/52475474
版权
中文分词器

在lunix下执行下列命令，可以看到本来应该按照中文”北京大学”来查询结果es将其分拆为”北”,”京”,”大”,”学”四个汉字，这显然不符合我的预期。这是因为Es默认的是英文分词器我需要为其配置中文分词器。

curlHTTP://192.168.79.131:9200/shb01/_analyze?pretty=true -d'{"text":"北京大学"}'



Es整合ik不直接用ik官网的工具包，需要将ik工具包封装成es插件才行，这个已经有人封装好了可以在github上下载elasticsearch-analysis-ik

1：在github上下载ik插件源码

https://github.com/medcl/elasticsearch-analysis-ik

最低0.47元/天 解锁文章
臭小优
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es自定义分词器
congge
07-06 2万+
es自带了一些分词器,即在默认情况下，如果不对自己创建的索引做任何的设置和修改，es会按照standard进行分词，怎么看我们自己创建的分词的相关设置和属性呢？首先看下面的一个例子 1、创建一个新的索引,company，type为employee，并插入一条数据，我们队这个索引不做额外的设置时 插入成功后，我们看一下系统的默认分词类型， GET company/_mapping/employee...
elasticsearch-ik中文分词器7.6.2.zip
04-11
用于elasticsearch7.6.2配套的中文分词器，欢迎大家使用 下面是它的描述，用于elasticsearch7.6.2配套的中文分词器，
ElasticSearch入门：ES分词器与自定义分词器
qq_37426635的博客
05-12 1万+
ES入门：ES分词器与查询相关分词器的简单介绍不同分词器的效果对比自定义分词器的应用 分词器的简单介绍 分词器是es中的一个组件，通俗意义上理解，就是将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；ES会将text格式的字段按照分词器进行分词，并编排成倒排索引，正是因为如此，es的查询才如此之快； es本身就内置有多种分词器，他们的特性与作用梳理如下： 分词器 作用 Standard ES默认分词器，按单词分类并进行小写处理 Simple 按照非字母切分，然
es 分词器详解
最新发布
weixin_59367598的博客
03-09 1321
es 分词器详解
elasticsearch中文分词器详解（九）
江晓龙的博客
05-24 619
1.es安装中文分词器 官网：https://github.com/medcl/elasticsearch-analysis-ik 1.1.安装中文分词器 安装中文分词器的要求： ​ 1.分词器的版本要与es的版本一直 ​ 2.所有es节点都需要安装中文分词器 ​ 3.安装完分词器需要重启 1.在线安装 [root@elasticsearch ~/soft]# cd /usr/share/elasticsearch/bin/ [root@elasticsearch /usr/share/elasticsea
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 6956
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
Elasticsearch：从零开始构建一个定制的分词器
Elastic 中国社区官方博客
09-07 2322
Elasticsearch 提供了大量的 analyzer 和 tokenizer 来满足开箱即用的一般需求。有时，我们需要通过添加新的分析器来扩展 Elasticsearch 的功能。尽管 Elastic 提供了丰富的分词器，但是在很多的时候，我们希望为自己的语言或一种特殊的需求来定制一个属于自己的分词器。上述这些分词器都是开源的分词器。它们专为中文而构建的。如果你想了解更多关于分词器的使用，请参阅文章 “” 中的 “” 章节。
Elasticsearch怎样实现自定义分词
A798194701的博客
03-29 6097
🔊此次采用在Docker下演示ik分词器和Nginx结合使用实现分词效果 首先，如果没有下Docker，可点击此处根据步骤下载Docker 下载完成后，我们要使用docker命令下载Elasticsearch mkdir -p /mydata/elasticsearch/config # 用来存放配置文件 mkdir -p /mydata/elasticsearch/data # 数据 echo "http.host: 0.0.0.0" >/mydata/elasticsearch/conf
elasticsearch-7.0.0 版本 ik 中文分词器
08-20
elasticsearch-7.0.0版本 ik中文分词器，编译好的文件，亲测成功，2.4.6版本的见在本人其他资源中寻找，免费下载，成功请给好评。
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
elasticsearch-7.14.0+分词器+head插件下载
elasticsearch7.8.0版本的IK分词器
12-30
elasticsearch7.8.0版本的IK分词器
elasticsearch的ik中文分词器
11-04
elasticsearch的ik中文分词器，安装好elasticsearch后还需安装中文分词器
ES设置自定义分词器
qq_45586240的博客
06-07 9557
Es提供了很多的分词方式，其中大家最常用的分词器应该是： ik_max_word（精细分词）ik_smart(简易分词)，我是es的初学者，工作中因为涉及到人名问题，领导提出想要把人名做同音词匹配处理（如：张三，张伞，张散），这三个人的名字的话都是zhangsan,这种情况，我们就需要用到拼音分词器。网上都有提供的，大家直接选择对应es版本的拼音分词器版本下载即可。直通车：拼音分词器链接。 1.下载成功之后呢，大家需要在Es的plugins文件夹下新建一个名字为pinyin的文件夹，然后把下载的拼音分词器的
Elasticsearch(三) Python 使用 elasticsearch 的基本操作
热门推荐
Refrain__WG的博客
04-11 1万+
参考文章：https://cuiqingcai.com/6214.html 一. python 安装 elasticsearch标准库 1. pip install elasticsearch 2. 中文分词插件： elasticsearch默认是英文分词器，所以我们需要安装一个中文分词插件elasticsearch-analysis-ik （注意和elasticse...
ElasticSearch 分词器，了解一下
武培轩
03-08 363
这篇文章主要来介绍下什么是 Analysis ，什么是分词器，以及 ElasticSearch 自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。 首先来说下什么是 Analysis： 什么是 Analysis？ 顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer） 来实现的，可使用 ES ...
Elasticsearch6.3.0安装IK分词插件
风流三月1
06-29 1841
elasticsearch-analysis-ik 下载地址：https://github.com/medcl/elasticsearch-analysis-ik 分词方式 Analyzer: ik_smart , ik_max_word Tokenizer: ik_smart , ik_max_word 下载编译方式 方式一，下载可用版本： 下载地址 https://g...
Elasticsearch自定义分词器
黑马程序员官方博客
09-08 2253
分词器的基础上的拼音，比如： 长隆大马戏可以分词出马戏， 那么就应该有对应的拼音， maxi。默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分 词器做个性化定制，形成自定义分词器。拼音分词器对我们每一个汉字都解析出对应的中文，但是这个并不是我们所需要的结果，我们需要的结 果基于ik。声明自定义分词器的语法如下： 自定义分词器是属于某一个索引库的，并不是全局的。要实现拼音分词检索，就必须对文档按照拼音分词。之前对文本进行处理。，然后经过过滤器，过滤器是拼音分词 器，
ElasticSearch第三步-中文分词
FG7313的博客
04-03 148
ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense ElasticSearch第三步-中文分词 ElasticSearch第四步-查询详解 ElasticSearch第五步-.net平台下c#操作ElasticSearch详解 elasticsearch官方只提供smartcn这...
Elasticsearch安装IK分词器、配置自定义分词词库
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-09 3598
借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理，再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法：单字分词，二分法分词，词库分词。
Elasticsearch 自定义分词器怎么配置
04-28
Elasticsearch 自定义分词器的配置可以通过以下步骤完成： 1. 创建一个新的分词器插件，可以使用 Maven 或 Gradle 进行构建。 2. 实现自定义分词器类，继承 `org.elasticsearch.index.analysis.AbstractTokenFilterFactory` 类。 3. 在 `create(TokenStream)` 方法中使用自定义分词器逻辑，对文本进行分词处理。 4. 在 `plugin-descriptor.properties` 文件中定义插件名称和版本号。 5. 在 `elasticsearch.yml` 文件中配置自定义分词器插件。 具体的步骤和配置示例可以参考 Elasticsearch 官方文档中的说明。在实际开发中，还需要根据具体需求进行适当的调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值