ElasticSearch 之中文分词器

最新推荐文章于 2024-12-18 16:24:03 发布

ywl470812087

最新推荐文章于 2024-12-18 16:24:03 发布

阅读量547

点赞数

分类专栏： ElasticSearch 文章标签： ElasticSearch之中文分词器

本文链接：https://blog.csdn.net/ywl470812087/article/details/103803809

版权

本文介绍了ElasticSearch中的中文分词器，重点讲解了IK分词器的安装步骤和使用方法，包括ik_smart和ik_max_word两种拆分方式，并提供了测试示例。

摘要由CSDN通过智能技术生成

4，中文分词器

4.1. smartCN（这个是参照别人的安装方法安装的有兴趣可以试一下）

一个简单的中文或中英文混合文本的分词器

这个插件提供 smartcn analyzer 和 smartcn_tokenizer tokenizer，而且不需要配置

# 安装
bin/elasticsearch-plugin install analysis-smartcn
# 卸载
bin/elasticsearch-plugin remove analysis-smartcn

测试一下

可以看到，“今天天气真好”用smartcn分析器的结果是：

[ 今天 ， 天气 ， 真 ， 好 ]

如果用standard分析器的话，结果会是：

[ 今 ，天 ，气 ， 真 ， 好 ]

4.2 我们一般都会用 IK分词器（我们就具体搭建一下ik中文分词器）

下载对应的版本，这里我下载6

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ywl470812087

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【ElasticSearch】中文分词器_es中文分词器

2401_84150394的博客

04-28

392

ik支持自定义扩展词库，有时候分词的结果不满足我们业务需要，需要根据业务设置专门的词库，词库的作用就是自定义一批关键词，分词的时候优先根据词库设置的关键词分割内容，例如：词库中包含 “上海大学” 关键词，如果对“上海大学在哪里？”进行分词，“上海大学” 会做为一个整体被切割出来。安装命令。

elasticsearch-ik中文分词器7.6.2.zip

04-11

**Elasticsearch 7.6.2 中文分词器详解** Elasticsearch 是一个流行的开源全文搜索引擎，它提供了一种高效、灵活的方式来存储、搜索和分析大量数据。在处理中文文档时，为了实现准确的搜索和匹配，我们需要使用特定...

参与评论您还未登录，请先登录后发表或查看评论

Elasticsearch中拼音分词器

09-03

Elasticsearch中拼音分词器

Elasticsearch之中文分词器

weixin_34232744的博客

02-24

157

前提什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch的中文分词器 　　1、单字分词：　　　　如：“我们是中国人” 　　　　效果：“我”“们”“是”“中”“国”“人” 　　2、二分法分词：按两个字进行切分。　　　　...

Elasticsearch-分词器详解

最新发布

qq_37200262的博客

12-18

842

1、分词器介绍对文本进行分析处理的一种手段，基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。常用的中文分词器有ik按照切词的粒度粗细又分为:ik_max_word和ik_smart；英文分词器standard会将文本做最细粒度的拆分，会穷尽各种可能的组合，适合 Term Query；ik_smart:会做最粗粒度的拆分，适合 Phrase 查询"text": ["布布努力学习编程"]"token" : "布",},

【ElasticSearch】中文分词器

qq_31426247的博客

06-19

5679

ES默认的analyzer（分词器），对英文单词比较友好，对中文分词效果不好。不过ES支持安装分词插件，增加新的分词器。1、如何指定analyzer？默认的分词器不满足需要，可以在定义索引映射的时候，指定text字段的分词器只要在定义text字段的时候，增加一个analyzer配置，指定分词器即可，这里指定的分词器是smartcn，后面会介绍怎么安装smartcn插件。

Elasticsearch的开源中文分词器 IK Analysis.zip

07-19

IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中设置你的sqlite3词典的位置：ik_analysis_db_path: /opt/ik/dictionary.db 我提供了默认的词典：https://github.com/zacker330/es-ik-sqlite3-dictionary 2. 安装（目前是1.0.1版本）./bin/plugin -i ik-analysis -u https://github.com/zacker330/es-ik-plugin-sqlite3-release/raw/master/es-ik-sqlite3-1.0.1.zip 3. 现在可以测试了： 1. 创建index curl -X PUT -H "Cache-Control: no-cache" -d '{ "settings":{ "index":{ "number_of_shards":1, "number_of_replicas": 1 } } }' 'http://localhost:9200/songs/' 2. 创建map: curl -X PUT -H "Cache-Control: no-cache" -d '{ "song": { "_source": {"enabled": true}, "_all": { "indexAnalyzer": "ik_analysis", "searchAnalyzer": "ik_analysis", "term_vector": "no", "store": "true" }, "properties":{ "title":{ "type": "string", "store": "yes", "indexAnalyzer": "ik_analysis", "searchAnalyzer": "ik_analysis", "include_in_all": "true" } } } } ' 'http://localhost:9200/songs/_mapping/song' 3.curl -X POST -d '林夕为我们作词' 'http://localhost:9200/songs/_analyze?analyzer=ik_analysis' response: {"tokens":[{"token":"林夕","start_offset":0,"end_offset":2,"type":"CN_WORD","position":1},{"token":"作词","start_offset":5,"end_offset":7,"type":"CN_WORD","position":2}]} 标签：中文分词分词插件

Elasticsearch之中文分词器插件es-ik（博主推荐）

weixin_34341229的博客

02-24

1635

前提什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch之几个重要的分词器 elasticsearch官方默认的分词插件　　1、elasticsearc...

elasticsearch 中文分词器

_Tsun 的博客

04-05

285

中文分词器 使用默认分词器查询中文。 # 可以看到一个中文是一个词，对于中文很不友好,所以需要使用中文分词器 curl --location --request POST 'localhost:9200/_analyze' \ --header 'Content-Type: application/json' \ --data-raw '{ "analyzer": "standard", "text": "RNG今年总冠军" }' >>>>>>>&g

Elasticsearch 中文分词器

这个需求，做不了

06-09

1911

下载时注意和es的版本对应，我们es版本为：8.6.2。在 ik 的文件的 config 目录下有 ik 分词的配置文件（IKAnalyzer.cfg.xml）以及相关的 dic 字典文件。在ES home/plugins 目录下创建目录 ik，并将我们下载下zip包解压到 es_home/plugins/ik 目录下。远程扩展字典的方式无需重启 ES 服务，只是在字典管理上来说，扩展字段文件独立于 ES 服务了，可能带来不便。查看结果，最终的分词中一定会有“科比布莱恩特”这样完整的词语。

elasticsearch 中文分词器ik

09-13

https://github.com/medcl/elasticsearch-analysis-ik elasticsearch 中文分词器

Elasticsearch之中文分词器插件es-ik（基于es2.4.0版本）

07-06

如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。

windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip

02-05

用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用；目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...

elasticsearch-analysis-ik 7.10.0 分词器

01-10

Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成，而每个汉字本身并不构成完整的语义单位。Elastic...

Elasticsearch 中文IK分词器