Elasticsearch custom analyzer with custom pattern（自定义Analyzer的分词pattern）

最新推荐文章于 2025-05-30 09:02:41 发布
最新推荐文章于 2025-05-30 09:02:41 发布
阅读量1.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 搜索引擎(ELK/Lucene/Solr) 文章标签： elasticsearch mapping
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzhg0508/article/details/52063674
本文探讨如何在Elasticsearch中创建一个自定义Analyzer，特别是使用定制的分词pattern，以便有效地索引和搜索逗号分隔值(CSV)字段。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DELETE testindex

PUT testindex
{
    "index" : {
        "analysis" : {
            "tokenizer" : {
                "comma" : {
                    "type" : "pattern",
                    "pattern" : "," }
            },
            "analyzer" : {
                "comma" : {
                    "type" :
最低0.47元/天 解锁文章

200万优质内容无限畅学
Elasticsearch中的自定义分析器（Custom Analyzer）介绍
chunzhi128的博客
06-04 216
在 Elasticsearch 中，自定义分析器（Custom Analyzer） 是一种可配置的文本处理组件，允许用户通过组合分词器（Tokenizer）、过滤器（Token Filter）和字符过滤器（Character Filter）来定义特定的文本分析逻辑。自定义分析器是 Elasticsearch 中灵活且强大的功能，通过组合字符过滤器、分词器和词元过滤器，能够精确控制文本的索引和搜索行为。在设计分析器时，需充分考虑语言特性、业务逻辑和性能开销，通过测试验证确保效果符合预期。
8.2.3-elasticsearch内置分词器之keyword/pattern
红笺小字
06-11 4640
ES内置分词器之keyword/pattern详细解析
Elasticsearch 自定义分析器Analyzer
ywl470812087的博客
01-02 1423
java学习讨论群：725562382 2，自定义分析器Analyzer curl -X PUT "192.168.0.120:9200/simple_example" -H 'Content-Type: application/json' -d' { "settings": { "analysis": { "analyzer": { "rebuilt...
ElasticSearch自定义分析器（custom analyzer）
weixin_42638762的博客
05-02 2781
一、基础知识 一个完整的分析器Analyzer包括如下三个组件： Character Filters: 对文本信息就行预处理，比如对原始文本删减或替换字符 Token Filters: 分词后过滤，对分词后的词语列表进行处理（过滤，删除等） Tokenizer：分词器，即将原始文本按照一定规则切分为词语（token） 1. Character Filters es内置的Character Filters包括：html_strip: 去除html标签, mapping:字符串替换|映射, patte
Elasticsearch 模式分析器（Pattern Analyzer）深度解析
最新发布
gitblog_00608的博客
05-30 347
Elasticsearch 模式分析器（Pattern Analyzer）深度解析 什么是模式分析器 模式分析器是 Elasticsearch 提供的一种基于正则表达式的文本分析工具，它通过定义特定的分隔符模式来将文本分割成独立的词项（token）。与常规分词器不同，模式分析器的核心在于识别分隔符而非词项本身。 核心特性 默认行为：使用 \W+ 正则表达式（匹配所有非单词字符）作为默认分隔模式 ...
Elasticsearch - 自定义分析器
热门推荐
上善若水，水善利万物而不争。
04-16 2万+
全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)， 这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档的Inverted In
Elasticsearch：定制分词器（analyzer）及相关性
Elastic 中国社区官方博客
03-02 4175
在许多的情况下，我们使用现有的分词器已经足够满足我们许多的业务需求，但是也有许多的情况，我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索，在文档被导入到 Elasticsearch 后，每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话，那么请参考我之前的文章 “Elasticsearch: analyzer”。 一旦文档被导入到 Elasticsearch 之后，我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关
elasticsearch 自定义分析器
_Tsun 的博客
04-14 417
自定义分析器 分析器analyzer主要有以下几个字段 type 指定内置的分析器,custom可以忽略 tokenizer char_filter filter position_increment_gap 目前还没用到,不知道 各个作用 analyzer/analysis (分析器) 文档document 如何转化为 倒排索引,一段text变成一个个term,这个过程叫做文本分析. Tokenizer(分词器) 语干中提取词元(Token) Filter(过滤器) Character Fi
ElasticSearch 自定义分词器Analyzer示例
qq_20068025的博客
03-12 4454
ElasticSearch已经内置了很多分词器，但有时候内置分词器并不能满足我们业务需求，此时就需要结合自身的业务意义，去自定义一个分词器了。 本文以一个实际的业务例子为引子，带大家逐步自定义一个分词器。
8.1.2-elasticsearch文本解析之自定义分词器及分词器匹配规则
红笺小字
06-06 1889
ES自定义分词器及分词器匹配规则
多字段特性及Mapping中配置自定义Analyzer
weixin_40809179的博客
11-22 180
POST _analyze { "tokenizer": "keyword", "char_filter": ["html_strip"], "text": "<b>hello world</b>" } //使用char filter进行替换 POST _analyze { "tokenizer": "standard", "char_filter": [{ "type":"mapping", "mappings":["- => _"] ...
elasticsearch分词
哇哈哈
01-11 1323
http://xguox.me/elasticsearch-custom-analyzer.html http://www.rendoumi.com/elasticsearchzhong-de/ http://www.voidcn.com/blog/i6448038/article/p-5994876.html http://blog.csdn.net/dm_vincent/article/d
elasticsearch分词器-analyzer
epitomizelu的专栏
01-17 206
这里写自定义目录标题一，分词器二，主要的分词器 一，分词器 分词器由三部分构成 二，主要的分词器 GET /_analyze { "analyzer": "standard", "text":"I am a student" } // 使用某个索引的某个字段的分词器 POST lcy_test/_analyze { "field": "name", "text":"Lebron James" } // 标准分词器，按词切分，转小写，不过滤助词等 GET /_analyze { "an
elasticsearch之使用正则表达式自定义分词逻辑
无风听海
02-21 1154
elasticsearch在索引和搜索之前都需要对输入的文本进行分词，elasticsearch提供的pattern analyzer使得我们可以通过正则表达式的简单方式来定义分隔符，从而达到自定义分词的处理逻辑；elasticsearch的Pattern Analyzer使用的Java Regular Expressions，只有了解Java中一些常用的正则表达式才能更好的自定义pattern analyzer；我们可以通过以下方式自定pattern analyzer，并设置分隔符为所有的空格符号；
Elasticsearch 使用 Index Pattern 配置
爱死亡机器人
03-17 2994
Index Pattern
一起来学ElasticSearch(四)
BASK2311的博客
01-30 346
目前正在出一个Es专题系列教程, 篇幅会较多, 喜欢的话，给个关注❤️ ~今天是开工的第一天，祝大家开工大吉，承接上文，本节主要给大家介绍一下动态映射,内容不多。好了, 废话不多说直接开整吧~通俗的讲，就是文档中的字段类型可以由ES动态识别，无需在创建索引的时候规定字段的类型。比如在项目中，如果不确定字段数据类型的情况下，可以使用动态映射ES可以利用动态映射来决定该字段的类型，并自动把该字段添加到映射中。在使用的时候要结合实际业务来考虑，如果将ES。
Elasticsearch分词器笔记
qq_34766833的博客
12-28 613
包括char_filter(字符过滤器)、filter(令牌过滤器)tokenizer(分词器)analyzer(分析器)"analysis":{ //分析配置"char_filter": { // 字符过滤器配置"my_char_filter":{ //定义一个字符过滤器：my_char_filter"mappings":[ // mapping的参数:表示 '&' 会被替换成 'and'"| => or"},},"filter": { // 令牌过滤器配置。
Elasticsearch的分词技术全面解析
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-20 1695
是将文本字符串拆分成独立的词汇或术语的过程。在 Elasticsearch 中，分词通常发生在索引文档时，确保搜索时能够匹配到正确的词汇片段。分词的目标是生成有意义的、可比较的 tokens，同时兼顾搜索效率和查询语义理解。Elasticsearch 允许为索引中每个字段指定不同的分析器，以适应各种文本类型和搜索需求。这可以通过在索引映射（mapping）中设置。是分词工作的核心，它包含了一个完整的文本分析流程。响应将包含分词后的 tokens 列表，帮助验证分析器配置是否符合预期。
【分布式技术】ES扩展知识-Elasticsearch分词器的知识与选择
wendao76的专栏
11-14 3867
Standard Analyzer还支持一些配置参数，如（单个词的最大长度）和stopwords（停用词列表）。通过调整这些参数，可以进一步定制分词器的行为。设置为5，则"jumped"会被切分成"jumpe"和"d"。添加"the"到停用词列表，则"the"在分词结果中会被过滤掉。
elasticsearch自定义分词
03-03
### 实现Elasticsearch自定义分词器 #### 定义分词器配置文件 为了实现自定义分词，在`resources`目录下创建一个名为`setting.json`的文件。此文件用于指定分词器的各种参数和行为[^4]。 ```json { "settings": { "analysis": { "analyzer": { "my_custom_analyzer": { "type": "custom", "tokenizer": "my_tokenizer", "char_filter": [ "html_strip" ], "filter": [ "lowercase", "asciifolding" ] } }, "tokenizer": { "my_tokenizer": { "type": "pattern", "pattern": "[,;.]" } } } } } ``` 上述JSON片段展示了如何设置一个基于正则表达式的分词器，该分词器会按照逗号、分号以及句号来分割文本，并且应用了HTML剥离字符过滤器与ASCII折叠转换滤镜。 #### 加载并测试自定义分词器 一旦完成了配置文件的设计，则可以通过REST API向集群发送请求以加载新的分析链： ```bash PUT /_cluster/settings { "persistent": { "index.analysis.analyzer.my_custom_analyzer.type": "custom" } } POST _analyze { "analyzer": "my_custom_analyzer", "text": "<p>Hello world! This is a test.</p>" } ``` 这段命令首先更新了集群级别的持久化设置以便于识别新加入的分析工具；随后利用`/_analyze`端点验证所设定模式的效果，确保其按预期工作[^1]。 #### 编程方式集成至Spring Boot项目中 对于希望在应用程序内部管理这些资源的情况而言，可以在Spring Boot工程里编写如下所示的Java代码片段完成相同目的的操作： ```java import org.elasticsearch.client.Request; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; @Component public class CustomAnalyzerInitializer { @Autowired private RestHighLevelClient client; public void init() throws IOException { Request request = new Request( "PUT", "/_cluster/settings"); String jsonBody = "{ \"persistent\": {\"index.analysis.analyzer.my_custom_analyzer.type\":\"custom\"}}"; request.setJsonEntity(jsonBody); client.getLowLevelClient().performRequest(request); // 测试自定义分词效果... } } ``` 以上示例说明了怎样借助官方提供的客户端库——Rest High Level Client——执行必要的HTTP调用来初始化环境中的自定义解析组件[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值