Elasticsearch中ngram和edgengram分词器

最新推荐文章于 2023-10-11 11:06:31 发布
最新推荐文章于 2023-10-11 11:06:31 发布
阅读量2.4k 收藏 7
点赞数 1
分类专栏： Elasticsearch学习 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45151158/article/details/122496139
版权
本文介绍了Elasticsearch中的ngram和edge ngram分词器，详细阐述了Analysis的基本概念、index analyzer与search analyzer的区别、Analyze API的使用，以及ngram分词器和edge ngram分词器的配置与应用场景，强调了它们在自动补全、性能和特殊字符处理中的差异。
摘要由CSDN通过智能技术生成

1. Analysis 简介

理解elasticsearch的ngram首先需要了解elasticsearch中的analysis。在此我们快速回顾一下基本原理：

当一个文档被索引时，每个field都可能会创建一个倒排索引（如果mapping的时候没有设置不索引该field）。倒排索引的过程就是将文档通过analyzer分成一个一个的term,每一个term都指向包含这个term的文档集合。当查询query时，elasticsearch会根据搜索类型决定是否对query进行analyze，然后和倒排索引中的term进行相关性查询，匹配相应的文档

analyzer = CharFilters（0个或多个） + Tokenizer(恰好一个) + TokenFilters(0个或多个)

2. index analyzer VS search analyzer

如果mapping中只设置了一个analyzer，那么这个analyzer会同时用于索引文档和搜索query。当然索引文档和对query进行analysis也可以使用不同的analyzer

一个特殊的情况是有的query是需要被analyzed，有的并不需要。例如match query会先用search analyzer进行分析，然后去相应field的倒排索引进行匹配。而term query并不会对query内容进行分析，而是直接和相应field的倒排索

最低0.47元/天 解锁文章
棋_Rachel
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Elasticsearch】ngram 分词器
九师兄
07-13 1208
1.概述 官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html#analysis-ngram-tokenizer 实战请参考：【Elasticsearch】Elasticsearch能检索出来，但不能正确高亮怎么办 高亮部分数据 高亮指定字符串 Ngram 所述ngram标记生成器第一场所文本分解成单词每当遇到指定的字符列表中的一个，那么它发射 的n-gram的指定长度
Elasticsearch——》ngram分词器
小仙~
05-10 2025
在 Elasticsearch 中，ngram 分词器是一种基于 n-gram 算法的分词器，用于将文本转换为一组 n-gram 词项。与其他一些分词器（如 standard 分词器）不同，ngram 分词器可以生成部分单词，并且不需要完整的词汇表。 ngram 分词器的工作原理是将输入文本切分成一个个较小的子字符串，然后将这些子字符串作为词项添加到索引中。这个过程涉及两个参数：min_gram 和 max_gram，它们控制了生成的词项的长度范围。
Ngram分词程序
11-27
该程序调用IKAnalyzer3.2.3.jar提供的接口实现了对汉字词的简单分词，目前尚不支持对带有标点符号的段落的解析。
elasticsearch ngram和edgengram分词器
爱死亡机器人
03-29 1254
文章目录1. Analysis 简介2. index analyzer VS search analyzer3. Analyze API4. Ngram5. Ngram Tokenizer6. Ngram Token Filter7. Edge Ngram 1. Analysis 简介 理解elasticsearch的ngram首先需要了解elasticsearch中的analysis。在此我们快速回顾一下基本原理： 当一个文档被索引时，每个field都可能会创建一个倒排索引（如果mapping的时候没有
ElasticSearch之ngram分词器
茅十八
11-03 8765
一、什么是NGram 分词器？ edge_ngram和ngram是ElasticSearch自带的两个分词器，一般设置索引映射的时候都会用到，设置完步长之后，就可以直接给解析器analyzer的tokenizer赋值使用。
Elasticsearch-edge_ngram和ngram的区别
大白能的博客
06-15 3275
前言 本文基于elasticsearch7.3.0版本 说明 edge_ngram和ngram是elasticsearch内置的两个tokenizer和filter 实例 步骤 自定义两个分析器edge_ngram_analyzer和ngram_analyzer 进行分词测试 创建测试索引 PUT analyzer_test { "settings": { "refresh_interval": "1s", "index": { "max_ngram_diff": 10
Elasticsearch7 分词器(内置分词器和自定义分词器)
white_while的博客
08-05 7794
文章目录Elasticsearch7 分词器(内置分词器和自定义分词器)analysis概览char_filterhtml_stripmappingpattern_replacefilterasciifoldinglengthlowercaseuppercasengramedge_ngramdecimal_digittokenizerWord Oriented TokenizersStandard...
ElasticSearch学习笔记-ngram、中文拼音、简繁体搜索记录
PURSUE ONE PIECE
09-03 1577
ElasticSearch版本：elasticsearch-7.3.0 ElasticSearch相关插件安装可以参考： https://blog.csdn.net/fighting_one_piece/article/details/100183135 ElasticSearch服务上创建Mapping curl -H "Content-Type: application/json" ...
elasticsearch-pinyin分词器
最新发布
06-05
"pinyin分词器"是Elasticsearch中的一个插件，它的主要功能是将中文字符转换成对应的汉语拼音，以便于进行基于拼音的搜索。这种分词方式尤其适合那些用户可能通过拼音输入关键词的场景，例如，在搜索引擎中输入...
自然语言处理--nltk 中的 n-gram 分词器
糯米君的博客
12-20 3674
n-gram 是一个最多包含 n 个元素的序列，这些元素从由它们组成的序列（通常是字符串）中提取而成。一般来说，n-gram 的“元素”可以是字符、音节、词，甚至是像“A”“T”“G”“C”等表示 DNA 序列的符号。 将单词条的概念扩展到多词条构成的 n-gram，NLP 流水线就可以保留语句词序中隐含的很多含义。例如，否定词“not”就会和它所属的相邻词在一起。如果分词不考虑 n-gram，那么“not”就会自由漂移，而不会固定在某几个词周围，其否定的含义可能就会与整个句子甚至整篇文档，而不是只与某几个
Elasticsearch 的 NGram 分词器使用技巧
weixin_41879185的博客
05-03 2252
NGram分词器是ES自带的具有前缀匹配搜索功能的一个文本分词器。它能根据逐步对写入的文本内容进行约束切割;
lucene-NGram中文分词
深未来技术
12-23 1402
NGram(综合了单词切分和二分法)package busetoken;import java.io.IOException;import java.io.StringReader;import org.apache.lucene.analysis.Token;import org.apache.lucene.analysis.ngram.NGramTokenizer;publ
elasticsearch ngram, edgengram笔记
Mr.SoftRock的博客
12-13 412
elasticsearch ngram, edgengram笔记
mysql 全文索引使用NGRAM分词器
程序开发笔记
11-04 2263
alter table ·t_data· add fulltext index title_fulltext(title, content,tag) WITH PARSER NGRAM;
Elasticsearch: Ngrams, edge ngrams, and shingles
Elastic 中国社区官方博客
09-03 3569
Ngrams 和 edge ngrams 是在 Elasticsearch 中标记文本的两种更独特的方式。 Ngrams是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram和edge ngram过滤器都允许您指定min_gram以及max_gram设置。 这些设置控制单词被分割成的标记的大小。 这可能令人困惑，让我们看一个例子。 假设你想用ngram分析仪分析“spaghetti”这个词，......
Elasticsearch——》edge_ngram 分词器
小仙~
05-10 1009
Elasticsearch 中的 edge_ngram 是一种基于字符边缘的分词器，在生成索引时会将一个文本字段分成小的、重叠的字符串片段 n-gram，这些片段从文本的开头边缘开始，以固定长度向右扩展。它可以与搜索时指定的查询条件进行匹配，并根据匹配程度对文档进行评分。 dge_ngram 分词器的工作原理是将输入文本切分成一个个较小的子字符串，然后将这些子字符串作为词项添加到索引中。这个过程涉及两个参数：min_gram 和 max_gram，它们控制了生成的词项的长度范围。
Elasticsearch自动补全-ngram
weixin_43834662的博客
06-18 2708
create template PUT _template/star { "index_patterns":"star*", "settings":{ "refresh_interval":"3s", "number_of_replicas":1, "number_of_shards":5, "analysis":{ "filter":{ ...
在 Elasticsearch 中实现自动完成功能 2：ngram
Elastic 中国社区官方博客
10-11 719
我们讨论了使用前缀查询，这是一种自动完成的查询时间方法。在这篇文章中，我们将讨论 n-gram - 一种索引时间方法，它在基本标记化后生成额外的分词，以便我们稍后在查询时能够获得更快的前缀匹配。但在此之前，让我们先看看什么是 n-gram。根据维基百科 -n-gram 是给定文本或语音序列中 n 个项目的连续序列有关 n-gram 的更多详细的介绍，请参阅之前的文章 “是的，就是这么简单，只是一系列文本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

棋_Rachel

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值