ElasticSearch官方默认的分词插件

最新推荐文章于 2024-09-04 02:00:28 发布
最新推荐文章于 2024-09-04 02:00:28 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangzelei/article/details/80782187
版权

elasticsearch官方默认的分词插件，对中文分词效果不理想。

　　比如，我现在，拿个具体实例来展现下，验证为什么，es官网提供的分词插件对中文分词而言，效果差。


总结

     如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。

     这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字


liangzelei
关注
专栏目录
ElasticSearch默认中文分词|安装外部中文分词器IK|Mapping的简单测试|基于中文分词搭建索引
SmallScorpion
05-10 797
中文分词 elasticsearch本身自带的中文分词，就是单纯把中文一个字一个字的分开，根本没有词汇的概念。但是实际应用中，用户都是以词汇为条件，进行查询匹配的，如果能够把文章以词汇为单位切分开，那么与用户的查询条件能够更贴切的匹配上，查询速度也更加快速。 使用默认 GET movie_index/_analyze { "text": "我是中国人" } 安装IK 与es版本一致 分词器下载网址：https://github.com/medcl/elasticsearch-analysis-
Logstash设置ElasticSearch默认分词器
热门推荐
周天祥的博客
07-05 1万+
Logstash设置ElasticSearch默认分词器 ElasticSearch：7.2.0 Logstash：7.2.0 1.定义Logstash模板 2.Logstash配置文件 3.查看执行结果 4.测试 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不...
Elasticsearch：使用中文分词器及简单操作示例
最新发布
Liu_y_xin的博客
09-04 991
Elasticsearch：使用中文分词器及简单操作示例
elasticsearch 设置默认分词器与使用
laow的博客
03-07 4050
创建索引并设置默认分词器 PUT /nbademo { "settings" : { "index" : { "analysis.analyzer.default.type": "ik_max_word" } }, "mappings": { "properties": { "age":{ "type": "integer" }, "displayN
创新实训（43）——ElasticSearch中默认分词器的设置
baidu_41871794的博客
06-26 1182
前言 之前实现了句子的查询，并且将句子进行查询之前，已经分词并且去除了停用词，剩下的很多停用词都是可能与句子的意思之间相关的所以并没有被去掉，这样的句子放入ElasticSearch进行查询时，会被切分，然后查询结果中会有很多不必要出现的停用词，作为关键词出现，初步分数是分词器的问题。 在使用 elasticsearch 进行搜索的时候，经常会发现一篇和搜索关键字完全不匹配的文章排在最前面。它可能就被 ik_max_word 分词后，刚好就有类似 “的” 这样的无意义词，导致造成一篇含有很多无意义词的文章得
Elasticsearch连续剧之分词器
狮子也疯狂的博客
01-16 1万+
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!前面两种分词器，各有优点，但是他们的功能确实不够完备，比如使用ik分词器可以对中文进行分词，但是却不能对拼音分词；所以在现实开发中，我们一般使用自定义分词器进行分词，这样既可以对文字分词，也可以对拼音分词，现在咱们来研究一下如何写一个ik+pinyin分词器。
elasticsearch7.17.11版本分词器插件安装包
11-13
IK分词器（Intelligent Chinese Analyzer for Elasticsearch）是为Elasticsearch设计的一款强大、灵活且高效的中文分词插件。它支持自定义扩展词典、同义词扩展、动态词典加载等功能，能更好地适应中文的复杂语境。 ...
ElasticSearch安装ik分词插件.txt
01-03
### ElasticSearch 安装 ik 分词插件 #### 背景介绍 ElasticSearch 是一个基于 Lucene 的搜索引擎，提供了分布式、实时的全文搜索功能。在处理中文文本时，通常需要借助第三方分词工具来提高搜索效果。ik 分词器...
elasticsearch7.17.14版本分词器插件安装包
11-13
对于中文来说，由于其独特的语法结构，需要特定的分词算法来处理，而`elasticsearch-analysis-ik`就是一款优秀的中文分词插件，能够有效地进行中文分词。 安装步骤如下： 1. **下载插件**: 根据提供的文件列表，...
ES7.11.1各种分词器和插件
09-19
在 Elasticsearch (ES) 的世界里，分词器和插件是优化全文检索性能的关键元素。在ES 7.11.1版本中，我们有很多不同的分词器和插件可供选择，以适应各种语言和场景的需求。下面我们将深入探讨这些分词器和插件的功能...
Elasticsearch中拼音分词器
09-03
Elasticsearch默认并不包含中文分词器，但通过安装第三方插件，如`analyzer-pinyin`或`ik`分词器的扩展，我们可以添加拼音分词功能。这些插件可以将中文字符转换为拼音，使得搜索时不仅匹配原文，还能匹配对应的拼音...
修改ES默认分词设置
石头视角
08-11 7004
5.0之后不在支持在es配置文件中指定分词方式，需要通过配置的方式去指定，可以借助java api的方式去指定 CreateIndexRequest request = new CreateIndexRequest(indexName); request.settings(Settings.builder() .put("index.number_of...
（6）elasticsearch的分词器
bluede2015的博客
04-29 1469
elasticsearch的分词器
ElasticSearch 实战：分词器
qq_33240556的博客
04-03 586
Elasticsearch 中的分词器（Tokenizer）是文本分析过程中至关重要的组件，负责将输入的文本字符串分解成词汇单元（tokens）。通过熟练运用和配置分词器，可以确保Elasticsearch索引中的文本数据被正确解析和索引，从而提升搜索和查询的准确性。仅根据非字母字符（如空格、标点等）进行拆分，不做其他处理，适合处理简单、已标准化的文本。设置创建自定义分词器，可以组合使用内置分词器并添加过滤器进行更精细的控制。支持多种语言的Unicode文本分词，适用于国际化的多语言场景。
ES入门十四：分词器
一只小星星
04-07 3492
除了使用内置的分词器外，我们还可以通过组合 Tokenizer、Filters、Character Filters 来自定义分词器。"char_filter": { # 自定义char_filter"mappings": ["& => and"] # 将 '&' 转换为 'and'},"filter": { # 自定义 filter"stopwords": ["an"] # 设置 "an" 为停用词},"analyzer": { # 自定义分词器为 custom_analyzer。
es ik 分词 5.x后，设置默认分词
weixin_34283445的博客
05-14 161
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch7 内置分词器介绍
sinat_34241861的博客
06-24 2185
一、ES常用内置分词器 standard - ES index默认分词器，按词切分，小写处理 simple - 按照非字母切分(符号被过滤)，小写处理，会去除数字 whitespace - 按照空格切分，不转小写 stop - 小写处理，停用词过滤(the，a，is) keyword - 不分词，直接将输入当作输出 二、示例说明 2.1 standard 支持中英文，中文会按单个字切割；将英文单词转换成小写形式，并去除停用词和标点符号 POST _analyze { "analyzer": "stan
ElastIcSearch分词器
weixin_45688203的博客
03-30 2176
ElastIcSearch分词器 Analysis 和 Analyzer Analysis： 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词(Analyzer)。Analysis是通过Analyzer来实现的。分词就是将文档通过Analyzer分成一个一个的Term(关键词查询),每一个Term都指向包含这个Term的文档。 Analyzer 组成 ​ 注意: 在ES中默认使用标准分词器: StandardAnalyzer 特点: 中文单字分词 单词分词 我是中国人 this
java es score_elasticsearch java原生打分插件开发
weixin_34976470的博客
02-26 568
能有影响elasticsearch score的方法有很多，官方推荐的是使用内置的painless脚本语言结合function_score来重新定义score。由于本人开发的项目其算法是由java语言开发的，于是决定尝试原生脚本开发。elasticsearch脚本由plugin-descriptor.properties文件以及运行jar包组成，plugin-descriptor.propert...
ElasticSearch 安装Ik分词插件教程与配置详解
在ElasticSearch中，安装ik分词插件是一个常见的需求，因为IKAnalyzer是针对中文场景优化的分词器，能够提供准确的汉字词典和智能分析。本文档指导如何在ElasticSearch环境中部署和配置IK分词插件，以实现对中文文本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值