Elasticsearch Analyzer(分词器介绍)

最新推荐文章于 2024-04-28 13:17:57 发布
最新推荐文章于 2024-04-28 13:17:57 发布
阅读量571 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yutanbo123/article/details/119207635
版权

Elasticsearch Analyzer

前言

Analysis：文本分析是把全文本转换成一系列单词(term/token)的过程，也叫分词。Analysis 是通过 Analyzer 来实现的，可以使用 ES 内置的分析器，也可使用定制的分析器。在写入数据和查询数据的时候，都需要用相同的分析器对语句进行分析。

Analyzer

Analyzer 分词器是专门处理分词的组件，由三部分组成：Character Filters(处理原始文本，例如去除html、特殊字符)、Tokenizer(按照规则切分为单词)、Token Filters(将切分的单词加工，小写、删除 stopwords(停用词)，增加同义词)。

最低0.47元/天 解锁文章
yutanbo123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ik-analyzer 分词字典
07-15
ik-analyzer 分词字典 支持solr6
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties elasticsearch-analysis-ik-7.17.3.jar commons-logging-1.2.jarcommons-logging-1.2.jar commons-codec-1.9.jar httpcore-4.4.4.jar httpclient-4.5.2.jar 其中config文件夹里面的内容如下： preposition.dic stopword.dic extra_stopword.dic suffix.dic IKAnalyzer.cfg.xml surname.dic quantifier.dic extra_single_word_low_freq.dic extra_single_word.dic extra_single_word_full.dic main.dic
Elasticsearch内置分析器全面解析
最新发布
一起coding，一起嗨。
04-28 409
Elasticsearch内置分析器全面解析
elasticsearch-6.2.4-ik分词器
10-11
Linux-CentOS环境下：分布式索引服务-elasticsearch-6.2.4版本及ik分词器整包，包括（elasticsearch-6.2.4.tar.gz，ik-analyzer.zip）
原版_IK_Analyzer _2012_FF_hf_1
11-23
完整版分词器，IK_Analyzer _2012_FF_hf_1。包含有使用文档和详细API
IKAnalyzer2012_u6中文分词器以及手册正式版.zip
06-06
IKAnalyzer2012_u6中文分词器以及手册正式版 Mode LastWriteTime Length Name ---- ------------- ------ ---- d----- 2017/10/29 1:41 doc -a---- 2017/10/29 1:41 414 IKAnalyzer.cfg.xml -a---- 2017/10/29 1:41 1165347 IKAnalyzer2012_u6.jar -a---- 2017/10/29 1:41 866397 IKAnalyzer中文分词器V2012使用手册.pdf -a---- 2017/10/29 1:41 17778 LICENSE.txt -a---- 2017/10/29 1:41 278 NOTICE.txt -a---- 2017/10/29 1:41 161 stopword.dic
ElasticSearch 分词器
@码农充电站的专栏
02-08 332
本节介绍 ElasticSearch 如何进行分词以及分词器相关内容。
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
做笔记\记录遇到的程序bug
03-28 2612
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
ElasticSearch--分词器--使用/教程/实例
IT利刃出鞘的博客
10-24 2873
原文网址： 简介 说明 官网 ik分词器：https://github.com/medcl/elasticsearch-analysis-ik 内置分词器 Elasticsearch之所以全文搜索很快，是因为采用了倒排索引，倒排索引的核心是分词。分词：把text格式的字段按照分词器进行分词并保存为索引。Elasticsearch已经提供了多种功能强大的内置分词器。 中文分词器 实例 ...
Elasticsearch 多语言及中文分词与检索详解
爱死亡机器人
11-18 1658
1. 自然语言与查询 Recall 当处理人类自然语言时，有些情况，尽管搜索和原文不完全匹配，但是希望搜到一些内容 Quick brown fox 和 fast brown fox / Jumping fox 和 Jumped foxes 一些可采取的优化 归一化词元：清除变音符号，如 role 的的时候 也会匹配 role 抽取词根：清除单复数和时态的差异 包含同义词 拼写错误：拼写错误，或者同音异形词 2. 混合多语言的挑战 一些具体的多语言场景 不同的索引使用不同的语言 / 同一索引中，不同
ES 分词器analyzer设置，包括创建更新索引时和查询时
热门推荐
JineD的博客
06-10 1万+
analyzer 分词器使用的两个情形： 1，Index time analysis. 创建或者更新文档时，会对文档进行分词 2，Search time analysis. 查询时，对查询语句分词 指定查询时使用哪个分词器的方式有： 　　- 查询时通过analyzer指定分词器 GET test_index/_search { "query": { "match": { "name": { "query": "lin", ...
Elasticsearch的开源中文分词器 IK Analysis.zip
07-19
IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典，es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法： 1. 在elasticsearch.yml中设置你的sqlite3词典的位置：ik_analysis_db_path: /opt/ik/dictionary.db 我提供了默认的词典：https://github.com/zacker330/es-ik-sqlite3-dictionary 2. 安装（目前是1.0.1版本）./bin/plugin -i ik-analysis -u https://github.com/zacker330/es-ik-plugin-sqlite3-release/raw/master/es-ik-sqlite3-1.0.1.zip 3. 现在可以测试了：     1. 创建index curl -X PUT -H "Cache-Control: no-cache" -d '{     "settings":{         "index":{             "number_of_shards":1,             "number_of_replicas": 1         }     } }' 'http://localhost:9200/songs/'      2. 创建map: curl -X PUT -H "Cache-Control: no-cache" -d '{         "song": {             "_source": {"enabled": true},             "_all": {                 "indexAnalyzer": "ik_analysis",                 "searchAnalyzer": "ik_analysis",                 "term_vector": "no",                 "store": "true"             },             "properties":{                 "title":{                     "type": "string",                     "store": "yes",                     "indexAnalyzer": "ik_analysis",                     "searchAnalyzer": "ik_analysis",                     "include_in_all": "true"                 }             }         } }     ' 'http://localhost:9200/songs/_mapping/song'       3.curl -X POST  -d '林夕为我们作词' 'http://localhost:9200/songs/_analyze?analyzer=ik_analysis' response: {"tokens":[{"token":"林夕","start_offset":0,"end_offset":2,"type":"CN_WORD","position":1},{"token":"作词","start_offset":5,"end_offset":7,"type":"CN_WORD","position":2}]} 标签：中文分词  分词插件
elasticsearch-analysis-ik 7.17.16 分词器
01-10
Elasticsearch-analysis-ik是一个将Lucence IK分词器集成到elasticsearch的ik分词器插件，并且支持自定义的词典。
Elasticsearch IK分词器扩展说明1
08-08
"Elasticsearch IK分词器扩展说明" Elasticsearch IK分词器扩展说明是基于Elasticsearch的IK分词器的扩展，旨在实现高效的文本处理和搜索功能。IK分词器是一种基于Java实现的中文分词器，能够对中文文本进行精准的...
ik分词器7.17.10
06-19
ik分词器7.17.10
分词工具与方法：jieba、spaCy等
qq_33578950的博客
04-07 2420
分词是自然语言处理中的一项重要任务，将一段文本划分成一系列有意义的词语或单词，是很多文本处理任务的基础，如文本分类、情感分析、机器翻译等。在中文分词中，jieba是一个常用的分词工具，而在英文分词中，spaCy是一个较为流行的选择。本文将介绍jieba和spaCy的使用方法和原理。
各种中文分词工具的使用方法
诸神缄默不语的博客
06-27 3907
本文介绍jieba、HanLP、LAC、THULAC、NLPIR、spacy等多种常用的Python中文分词工具的简单使用方法。
Elasticsearch 分词器
qq_43528713的博客
07-07 330
分词器, elasticsearch, ik分词器, pinyin分词器, 自定义分词器, 联想搜索,
ElasticSearch之ICU分词器
★【World Of Moshow 郑锴】★
08-13 5578
分词器 分词器 接受一个字符串作为输入，将 这个字符串拆分成独立的词或 语汇单元（token） （可能会丢弃一些标点符号等字符），然后输出一个 语汇单元流（token stream） 。 一个analyzer分词器包含三个部分： character filter：分词之前的预处理，过滤掉HTML标签、特殊符号转换等。 tokenizer：分词 token filter：标准化 ES内置分词器 ...
elasticsearch安装分词器
08-25
要在Elasticsearch中安装分词器，您可以按照以下步骤操作： 1. 首先，确保您已经安装了Elasticsearch。您可以从Elasticsearch官方网站下载并安装适合您操作系统的版本。 2. 打开终端或命令提示符，并导航到Elastic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值