Elasticsearch对数字检索——ngram

最新推荐文章于 2024-08-25 17:11:33 发布
最新推荐文章于 2024-08-25 17:11:33 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： Elasticsearch 文章标签： Elasticsearch ngram
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43315211/article/details/102971732
版权

数字可能信息不全，需要对数字进行切分，所以选用 ngram 分词器进行分词

测试

POST _analyze
{
  "tokenizer": "ngram",
  "text":"123456"
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "12",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "2",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "23",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "3",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "34",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "4",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "45",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "5",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "56",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "6",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 10
    }
  ]
}

创建mapping

PUT test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 4,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
  , "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

POST test/_analyze
{
  "analyzer": "my_analyzer",
  "text":"渝A253DC"
}

{
  "tokens" : [
    {
      "token" : "渝A2",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "渝A25",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "A25",
      "start_offset" : 1,
      "end_offset" : 4,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "A253",
      "start_offset" : 1,
      "end_offset" : 5,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "253",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "253D",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "53D",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "53DC",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "3DC",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "word",
      "position" : 8
    }
  ]
}

POST test/_analyze
{
  "analyzer": "my_analyzer",
  "text":"123456"
}

{
  "tokens" : [
    {
      "token" : "123",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "1234",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "234",
      "start_offset" : 1,
      "end_offset" : 4,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "2345",
      "start_offset" : 1,
      "end_offset" : 5,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "345",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "3456",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "456",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "word",
      "position" : 6
    }
  ]
}

错误提示：

在这里插入图片描述
The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to: [1] but was [7]. This limit can be set by changing the [index.max_ngram_diff] index level setting。
从ES 7.0 以上，需要从新对 index.max_ngram_diff 进行设置
在这里插入图片描述
重构mapping

PUT test
{
  "settings": {
    "index.max_ngram_diff":8,
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 8,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
  , "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

POST test/_analyze
{
  "analyzer": "my_analyzer",
  "text":"123456"
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "12",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "123",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "1234",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "12345",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "123456",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "2",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "23",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "234",
      "start_offset" : 1,
      "end_offset" : 4,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "2345",
      "start_offset" : 1,
      "end_offset" : 5,
      "type" : "word",
      "position" : 9
    },
    {
      "token" : "23456",
      "start_offset" : 1,
      "end_offset" : 6,
      "type" : "word",
      "position" : 10
    },
    {
      "token" : "3",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "word",
      "position" : 11
    },
    {
      "token" : "34",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "word",
      "position" : 12
    },
    {
      "token" : "345",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "word",
      "position" : 13
    },
    {
      "token" : "3456",
      "start_offset" : 2,
      "end_offset" : 6,
      "type" : "word",
      "position" : 14
    },
    {
      "token" : "4",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "word",
      "position" : 15
    },
    {
      "token" : "45",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "word",
      "position" : 16
    },
    {
      "token" : "456",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "word",
      "position" : 17
    },
    {
      "token" : "5",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "word",
      "position" : 18
    },
    {
      "token" : "56",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "word",
      "position" : 19
    },
    {
      "token" : "6",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "word",
      "position" : 20
    }
  ]
}
延伸：edgeNGram

ngram 的简化版，单个分词，以首字母为起始位置，进行分词
效果如下

PUT test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "edgeNGram",
          "min_gram": 1,
          "max_gram": 8,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
  , "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

POST test/_analyze
{
  "analyzer": "my_analyzer",
  "text":"123456"
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "12",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "123",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "1234",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "12345",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "123456",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "word",
      "position" : 5
    }
  ]
}
weixin_43315211
关注
专栏目录
【Elasticsearch】ngram 分词器
九师兄
07-13 1258
1.概述 官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html#analysis-ngram-tokenizer 实战请参考：【Elasticsearch】Elasticsearch能检索出来，但不能正确高亮怎么办 高亮部分数据 高亮指定字符串 Ngram 所述ngram标记生成器第一场所文本分解成单词每当遇到指定的字符列表中的一个，那么它发射 的n-gram的指定长度
【Elasticsearch】es 各种 日志 慢日志 慢查询
九师兄
10-21 4849
文章目录1.概述1.1 Elasticsearch日志列表1.2 日志级别1.3 日志格式2.慢日志2.2 慢日志全局级别设定3.根治慢查询3.1 慢查询六大症状3.1.1 症状1：非活动（检索/写入）状态资源利用率也非常高3.1.2 症状2：线程池存在大量rejected3.1.3 症状3：高CPU和索引化延迟3.1.4 症状4：副本增加后延时增大3.1.5 症状5：共享硬件资源时的高资源利用率。3.1.6 症状6：聚合N多唯一值引起的高内存使用率M.扩展阅读 1.概述 日志存储路径： 运行日志：
ElasticSearch7.X版本实现中文、英文、数字搜索
有糖哥
05-02 2170
EleasticSearch7.X版本实现中文、英文、数字搜索引入依赖客户端连接一些通用的api一些常量和配置类初始化索引库等ES配置信息最后别忘了封装查询的Bean信息 由于基金业务需要接入基金搜索功能，但是网上各种7.X版本的帖子又很少，这里就以自己线上代码，总结了下es相关客户端java代码实现搜索功能。 引入依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId
elastic search中在index_time时使用n-gram来进行搜索推荐
坤健的博客
07-22 640
什么是n-gram？n元预发模型，对某个词按长度n进行分割 quick，5种长度下的ngram ngram length=1，q u i c k ngram length=2，qu ui ic ck ngram length=3，qui uic ick ngram length=4，quic uick ngram length=5，quick 什么是edge ngram？边界n-gram，切...
es基本使用之查询数据
最新发布
jggnice的博客
08-25 278
如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！」许可协议进行许可。
ElasticSearch系列——通过ngram分词机制实现index-time搜索推荐
weixin_42894555的博客
07-15 392
文章目录1、ngram和index-time搜索推荐原理2、实验一下ngram ElasticSearch系列——主目录 1、ngram和index-time搜索推荐原理 什么是ngram quick，5种长度下的ngram ngram length=1，q u i c k ngram length=2，qu ui ic ck ngram length=3，qui uic ick ngram length=4，quic uick ngram length=5，quick 什么是edge ngram.
es mapping 参数
hyhanyu的博客
08-02 921
analyzers： 定义使用的分词器。分词不仅发生在数据被索引存入数据时，也发生在查询。所以，查询和索引时最好使用同样的分词器。 Es在索引时寻找分词器的顺序： The analyzerdefined in the field mapping. An analyzer named defaultin the index settings. The standardan...
解决——》The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to
小仙~
05-10 1011
Elasticsearch 默认情况下设置了一个名为 index.max_ngram_diff 的参数，用于限制 max_gram 与 min_gram 之间的最大差距。默认max_gram 和 min_gram 参数的差异必须小于或等于 [1]，但当前这个差异值为 [2]，超出了 Elasticsearch 允许的最大差距，导致无法创建索引。通过更改 index.max_ngram_diff 参数的值来允许更大的 max_gram 和 min_gram 差异值
elasticsearch-pinyin分词器
06-05
Elasticsearch是一个强大的开源搜索引擎，它提供了全文检索、分析、分布式、容错和高可用性等特性。在处理中文文本时，通常需要借助特定的分词器来将汉字转化为可以被搜索的单元。"elasticsearch-pinyin分词器"正是...
Elasticsearch入门简介
mhxy199288的专栏
06-07 780
最近因为一个项目涉及到了搜索相关的需求，elasticsearch可以说是目前最流行，最受欢迎的企业搜索引擎，所以在技术选型上自然的选择ES作为搜索引擎的实现，由于自己也是第一次接触elasticsearch，故写下这篇文章总结下自己在使用学习ES过程中的一些经验教训。...
1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)
mijichui2153的博客
08-05 7436
elasticsearch安装
The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to: [1]
qq_39885623的博客
07-19 3787
The difference between max_gram and min_gram in NGram Tokenizer must be less than or equal to: [1] but was [3]. This limit can be set by changing the [index.max_ngram_diff] index level setting Elasti...
Elasticsearch 7.6 分词器使用
RanGe的博客
04-13 2816
1.创建索引 1.1使用ik分词器 适用于中文分词器,若是对邮箱/用户名等进行分词, 只能按着标点符号进行分割,颗粒度太大,不太适用,这种情况可以考虑下面的自定义分词器 { "settings":{ "number_of_shards": 3, "number_of_replicas": 1, "analysis":{ "analyze...
Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略
铭毅天下Elasticsearch
12-12 2255
1、背景在生产使用中，Elasticsearch 除了精确匹配的要求，也会有模糊查询的场景。2、解决方案探讨面对这种问题 ，传统的解决方案有两种：2.1 方案一：ngram 分词器使用 ngram 分词器对存入的数据进行精细化的拆分，利用细颗粒度的 token 进行快速的召回。这是一个利用空间换时间的方案，细化查询所需的词根内容，利用精确匹配结果大范围的命中来达到模糊效果。PUTtest-005...
ES模糊匹配数字、字母(like匹配)
热门推荐
yun0000000的博客
01-20 1万+
1、将数字、字母分为单个词 { "settings" : { "analysis" : { "analyzer" : { "my_ngram_analyzer" : { "tokenizer" : "my_ngram_tokenizer...
ElasticSearch（五）：简单的ElasticSearch搜索功能
cc185的博客
08-23 667
这里主要是一些简单的ElasticSearch的搜索功能，复杂的搜索，比如过滤，聚合等以后单独在写 1. 搜索全部 GET book/_search 直接搜索全部，下面是对搜索结果的详细介绍：默认情况下，是查询出来10条数据，并且按照score的由高到低顺序排列的（因为搜索全部，这里没有score，当条件搜索的时候，会出现。） 2. 单条件搜索 条件查询分为两类： ma...
elasticsearche 精确值查找
u011913691的博客
07-05 3372
引言 当进行精确值查找时， 我们会使用过滤器（filters）。过滤器很重要，因为它们执行速度非常快，不会计算相关度（直接跳过了整个评分阶段）而且很容易被缓存。我们会在本章后面的 过滤器缓存 中讨论过滤器的性能优势，不过现在只要记住：请尽可能多的使用过滤式查询。 term查询 term查询数字 我们首先来看最为常用的term查询，可以用它处理数字(numbers)，布尔值（Booleans），日志...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值