Elasticsearch 英文分词 & 中文分词

最新推荐文章于 2024-07-14 10:41:17 发布
最新推荐文章于 2024-07-14 10:41:17 发布
阅读量6.7k 收藏 9
点赞数 6
分类专栏： Elastic Stack 玩转系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38030719/article/details/109103707
版权
本文介绍了Elasticsearch的分词工作原理，包括字符过滤器、分词器和Token过滤器的角色。详细讨论了英文分词的五种模式，如standard、simple、whitespace、stop和keyword。同时，针对中文分词的挑战，推荐了analysis-icu和elasticsearch-analysis-ik插件作为增强解决方案。
摘要由CSDN通过智能技术生成

对于倒排索引来说，很重要的一件事情就是需要对文本进行分词，经过分词可以获取情感、词性、质性、词频等等的数据。

Elasticsearch 分词工作原理

在 Elasticsearch 中进行行分词的需要经过分析器的3个模块，字符过滤器将文本进行替换或者删除，在由分词器进行拆分成单词，最后由Token过滤器将一些无用语气助词删掉。
在这里插入图片描述

英文分词

在Elasticsearch 中共支持5种不同的分词模式，在不同的场景下发挥不同的效果。

standard (过滤标点符号)
GET /_analyze
{
   
  "analyzer": "standard",
  "text":
最低0.47元/天 解锁文章
叶康铭
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
ik php分词,ik中英文混合分词器
weixin_30588427的博客
03-12 902
3、重启Elasticsearch4、测试分词器GET /_analyze{"text": "中华人民共和国国徽",# 两种：ik_smart较粗粒度的拆分 和 ik_max_word较细粒度的拆分"analyzer": "ik_max_word"}5、使用分词器 在模版中定义好分词"settings": {"index": {"number_of_shards": "1","number_of_...
ik分词器
qq_55682798的博客
08-22 531
ik_max_word为最细切分，能切的都会被切掉； 安装到es中的plugins 如果重新启动es的时候报错的话,先将es的索引删除,在重新添加索引，从新添加的索引定义一下分词,在将ik重新放入到plugins中
支持英文数字中文混合分词-实现很多功能非常强大！
09-21
支持英文数字中文混合分词 常用的数量和人名的匹配 超过22万词的词库整理 实现正向最大匹配算法 智能数字,日期,人名识别。分词算法：词库+最大匹配。具体的里面有非常详尽的说明文档
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）
雷雨中的双桅船
08-12 1万+
当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。 我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了，只有一墙之隔：词干提取。一个真正的英文分词器除了
Elastic Search分词器的基本概念和引入分词器------Elastic Search
最新发布
春风若有怜花意，可否许我再少年
07-14 543
Elastic Search分词器的基本概念和引入分词器------Elastic Search
ik中英文混合分词器
zlhblogs的博客
04-18 443
ik中英文混合分词器
elasticsearch ik_smart 中文分词器，分词英文的时候有个小 bug
11-06 2677
昨天在测试 match 查询用法的时候，随便输入了一段 twenty British women made history 这样一段文本，结果却查不出来记录。明显是有问题的，这段文本是从 es 记录中拷贝的一句，怎么就查不出来了呢？ 后来看了下分词器用的是 ik_smart ，是不是中文分词器对英文支持的不够好？后来试了下 standard 分词器，是可以查出来的。 刚才试了下分词结果，发现了问题所在: GET /_analyze { "analyzer": "ik_smart", "text":
elasticsearch-analysis-ik2.x增加连续数字字母英语智能分词、动态词库刷新支持elasticsearch2.x以上
03-22
elasticsearch-analysis-ik根据elasticsearch-analysis-ik2.2.0基础上修改，支持elasticsearch2.2.0（已测）。增加连续数字、字母、英语及其组合智能分词（ik_smart、ik_max_word、ik_indistinct、ik_smart_indistinct启用）支持lucence5.x以上版本。 文件说明：本zip包含IKAnalyzer的src及elasticsearch可运行插件plugins两部分。 使用说明：修改src源码后可通过IKAnalzyerDemo、LuceneIndexAndSearchDemo测试分词及检索。将编译后jar包替换plugins中相应jar包即可使用。如：http://localhost:9200/xxx/_analyze?analyzer=ik_indistinct&pretty=true&text=这是个测试例子china1688
ElasticSearch中文分词，看这一篇就够了
热门推荐
静待花开
06-03 3万+
本文我们围绕Elasticsearch的分词器，从内置分词器的局限性出发，引出了中文分词器，然后详细介绍了ik分词器的编译，安装配置和使用。
Elasticsearch平台中文分词词库.txt
12-17
Elasticsearch电商平台中文分词词库
es7.0 ik的分词器
09-27
es提供的分词是英文分词，对于中文的分词就做的非常不好了，ik分词器是针对中文分词 来用于搜索和使用。
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
为此，Elasticsearch提供了多种分词器，其中elasticsearch-analysis-pinyin-7.4.0就是专门针对中文处理的拼音分词器，它将汉字转换为拼音，以提高中文搜索的准确性和便利性。 这个插件的核心功能在于将中文字符转化...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
Elasticsearch-analysis-ik 是一个专为 Elasticsearch 设计的中文分词插件，它基于 Lucene 的 IK 分词器，旨在提供高效、准确的中文分词能力。 **IK 分词器介绍** IK (Intelligent Chinese Analyzer) 是一个针对...
浅谈elasticsearch的分词原理
chenweicheng1994的博客
10-13 2498
这篇文章主要是来浅谈一下elasticsearch的分词原理，让各位同学对分词不再陌生~ 废话不多说，我们直接上干货 前言一 我们创建一个文档 PUT test/_doc/1 { "msg":"乔丹是篮球之神" } 我们通过'乔丹'这个关键词来搜索这个文档 POST /test/_search { "query": { "match": { ...
ElasticSearch之分词及原理
scorpio的博客
10-23 1896
ElasticSearch之分词及原理
ElasticSearch(7.2.2)-浅谈es的分词原理
逍遥云恋
11-01 3912
简介：谈谈elasticsearch的分词原理 前⾔⼀ 我们创建⼀个⽂档 PUT test/_doc/1 { "msg":"乔丹是篮球之神" } 我们通过’乔丹’这个关键词来搜索这个⽂档 POST /test/_search { "query": { "match": { "msg": "乔丹" } } } 我们发现能匹配⽂档出来，那整⼀个过程的原理是怎样的...
ElasticSearch 中分词与倒排索引的原理
weixin_40587144的博客
04-06 523
ElasticSearch 中分词与倒排索引的原理
ElasticSearch IK分词器配置与使用教程
Elasticsearch的默认分词器对中文处理并不理想，它会将每个汉字单独分词，这并不符合中文语言的实际需求。在实际应用中，我们通常以词汇而非单个字符作为查询条件。IK中文分词器解决了这个问题，它可以将中文文本...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值