ElasticSearch 自定义分词器Analyzer示例

已于 2022-03-12 17:04:04 修改
阅读量4k 收藏 2
点赞数 2
分类专栏： ElasticSearch 文章标签： elasticsearch 搜索引擎 大数据
于 2022-03-12 11:15:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20068025/article/details/123440258
版权

一、前提概述

接下来定义一个index，并在该index中使用自定义分词器。

假设在ES中有这么一个index，用来存储用户在什么时间调用了哪个接口，调用的入参是什么的这么一个信息（即服务网关日志），要存储的数据示例如下所示（已脱敏）：

[
  {
    "authSignId" : "75",
    "interfaceName" : "/vehicle/interface1",
    "requestData" : """{"head":{"sign":"86006c91a07f88aaaaaaaaaaaa","systemSign":"dkgc","timeStamp":"1646848500981","version":"20191213"},"body":{"endTime":1646848500795,"page":-1,"pageSize":-1,"radius":0,"startTime":1646805300795,"tplType":-1,"vehiclePlateNoAndColor":"鲁Q050EV@黄色"}}""",
    "log_time" : "2022-03-10 01:55:00"
  },
  {
    "authSignId" : "5",
    "interfaceName" : "/vehicle/interface2",
    "requestData" : """{"head":{"sign":"6d1bee5f0971bbbbbbbbbbbbbb","systemSign":"kfpt","timeStamp":"1646848500232","version":"20181023"},"body":{"endTime":-1,"page":-1,"pageSize":-1,"radius":0,"startTime":-1,"tplType":-1,"vehiclePlateNoAndColorList":["津C28933@黄色"]}}""",
    "log_time" : "2022-03-10 01:55:00"
  
  },
  {
    "authSignId" : "5",
    "interfaceName" : "/vehicle/interface3",
    "requestData" : """{"head":{"sign":"6f0514f860cccccccccccccccc","systemSign":"kfpt","timeStamp":"1646848499342","version":"20181023"},"body":{"endTime":-1,"maxOfflineTime":"172800000","page":-1,"pageSize":-1,"radius":0,"startTime":-1,"tplType":-1,"vehiclePlateNoAndColorList":["冀A96243@黄色"]}}""",
    "log_time" : "2022-03-10 01:54:59.562"
  },
  {
    "authSignId" : "14",
    "interfaceName" : "/vehicle/interface4",
    "requestData" : """{"head":{"sign":"069d352985e2dddddddddddddd","systemSign":"clwsjzx","timeStamp":"1646848502122","version":"20190109"},"body":{"vid":"3367053073233333","startTime":1646845465000,"endTime":1646849065000}}""",
    "log_time" : "2022-03-10 01:55:02.335"
  },
  {
    "authSignId" : "85",
    "interfaceName" : "/vehicle/interface5",
    "requestData" : """{"head":{"sign":"1a0a24e62ac506eeeeeeeeeeee","systemSign":"yljj","timeStamp":"1646848499744","version":"20200420"},"body":{"vehiclePlateNoAndColor":"陕KD5260@黄色","tplId":"2168053781999934883","message":"{\"城市区域名称\":\"榆林\",\"危险路段描述\":\"道路弯急\"}"}}""",
    "log_time" : "2022-03-10 01:54:59.989"
  }
]

在本例子中，我们只关心requestData字段，将该字段的内容格式化一下方便看清它的内容：

{
    "head": {
        "sign": "1da02bc2e0945187bbbbbbbbbbbbbb",
        "systemSign": "kfpt",
        "timeStamp": "1646830874618",
        "version": "20181023"
    },
    "body": {
        "endTime": 1646830771000,
        "page": -1,
        "pageSize": -1,
        "radius": 0,
        "startTime": 1646830721000,
        "tplType": -1,
        "vehiclePlateNoAndColor": "车牌号在末尾津B2M937@黄绿色"
    }
}

结合示例数据，以及该字段格式化之后的格式，不难看出该字段的值其实就是调用一个POST接口时的body入参。


二、分词器的选择

此时就需要使用一个合适的分词器，来对该字段进行分词处理。

先说一下处理的相关要求：
1）首先，我们是不关心json串中的key值的
2）其次，也不关心json串中的head部分，而只关心body中的中文的部分

基于以上要求，首先ES的内置的分词器肯定是不满足需求了，然后也无法直接使用IK分词器，因为直接使用IK分词器对requestData字段进行分词之后，key的值依然存在，如下图：
在这里插入图片描述

这就使得：
1）类似head、sign这样的毫无业务意义的key也被切分为了token，从而放入到倒排索引中，凭白占用了ES空间；
2）由于类似head、sign这样的key也被放入到了倒排索引中，就会使得通过这些key来进行检索时，也同样能够查询到数据，这就不符合我们的查询时候的期望值了（这里我们假设用户想查询的是value值中，包含了某些关键词的数据）。

基于上述需求，这里将自定义两个分词器，名字分别是dmp_custom_json_ik_analyzer和custom_car_number_analyzer。
其中：

  1. dmp_custom_json_ik_analyzer
    功能是先剔除掉json串中的key值，接着再对value值使用IK分词器进行切分
  2. custom_car_number_analyzer
    功能是将json串中的车牌号提取出来。之所以要自定义这个分词器，是因为最开始只定义了上面那个分词器时，用户在使用车牌号去进行查询时，根本查询不到数据，详情可查看该博客《全文检索问题：根据车牌号查询，检索结果跟预期不一致的问题的排查与解决方法》。
    因此，在这里需要再定义这个分词器。并且在本例中，也是着重对这个分词器进行的解释。



三、自定义分词器的使用

定义一个索引，并在索引中引用我们自定义分词器

# 为防止index已存在，可先进行删除
DELETE idx-susu-test-car-number

# 设置index的settings和mappings配置
PUT idx-susu-test-car-number
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0,
    "analysis" : {
          "char_filter" : {
            "del_header_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """("head":)(.*)(,"body":)""",
              "replacement" : ""
            },
            "del_digit_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """(:(-)?\d+,)""",
              "replacement" : " "
            },
            "json_key_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """("\w*")(\s*)(:)""",
              "replacement" : "$3"
            },
            "symbol_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """\{|\}|,""",
              "replacement" : " "
            },
            "not_car_number_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """([^(([京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}[警京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼]{0,1}[A-Z0-9]{4}[A-Z0-9挂学警港澳]{1})(@(白|蓝|黄|黑|绿|黄绿|渐变绿)色)?)]+)""",
              "replacement" : " "
            }
          },
          
          "filter" : {
            "car_number" : {
               "type" : "pattern_capture",
               "preserve_original" : true,
               "patterns" : [
                  "([京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}[警京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼]{0,1}[A-Z0-9]{4}[A-Z0-9挂学警港澳]{1})",
                  "(白色|蓝色|黄色|黑色|绿色|黄绿色|渐变绿色)"
               ]
            }
         },
          
          "analyzer" : {
            "dmp_custom_json_ik_analyzer": {
              "char_filter": [
                "json_key_char_filter"
              ],
              "tokenizer": "ik_max_word"
          },
            "custom_car_number_analyzer" : {
              "char_filter" : [
                "del_header_char_filter",
                "json_key_char_filter",
                "del_digit_char_filter",
                "symbol_char_filter",
                "not_car_number_char_filter"
              ],
              "tokenizer" : "whitespace",
              "filter": ["car_number"]
            }
          }
        }
  },
  "mappings": {
    "properties": {
      "requestData": {
        "analyzer": "dmp_custom_json_ik_analyzer",
        "type": "text",
        "fields": {
          "carNumber": {
              "analyzer": "custom_car_number_analyzer",
              "type": "text"
          }
        }
      }
    }
  }
}

注：
在requestData字段上，使用的是dmp_custom_json_ik_analyzer分词器，同时给这个字段添加了一个名为carNumber的子字段，并将子字段设置的分词器是custom_car_number_analyzer。

接着往索引中插入数据：

PUT idx-susu-test-car-number/_bulk?refresh=true
{ "index": { "_id": "1" }}
{ "requestData": """{"head":{"sign":"0b02feea339667e96c649dc7a9063d75","systemSign":"dkgc","timeStamp":"1646780548613","version":"20191213"},"body":{"queryDate":"20220307","vehiclePlateNoAndColorList":["津C36267@白色","津C36285@黑色","津C36580@蓝色","津C36605@黄绿色","津C36633@黄色","津C37178@渐变绿色]}}"""}
{ "index": { "_id": "2" }}
{ "requestData": """{"head":{"sign":"1da02bc2e0945187612b3268437b9901","systemSign":"kfpt","timeStamp":"1646830874618","version":"20181023"},"body":{"endTime":1646830771000,"page":-1,"pageSize":-1,"radius":0,"startTime":1646830721000,"tplType":-1,"vehiclePlateNoAndColor":"津B2M936"}}"""}
{ "index": { "_id": "3" }}
{ "requestData": """{"head":{"sign":"1da02bc2e0945187612b3268437b9901","systemSign":"kfpt","timeStamp":"1646830874618","version":"20181023"},"body":{"endTime":1646830771000,"page":-1,"pageSize":-1,"radius":0,"startTime":1646830721000,"tplType":-1,"vehiclePlateNoAndColor":"车牌号在末尾津B2M937@黄绿色"}}"""}
{ "index": { "_id": "4" }}
{ "requestData": """{"head":{"sign":"1da02bc2e0945187612b3268437b9901","systemSign":"kfpt","timeStamp":"1646830874618","version":"20181023"},"body":{"endTime":1646830771000,"page":-1,"pageSize":-1,"radius":0,"startTime":1646830721000,"tplType":-1,"vehiclePlateNoAndColor":"津B2M938车牌号在开头"}}"""}
{ "index": { "_id": "5" }}
{ "requestData": """{"head":{"sign":"1da02bc2e0945187612b3268437b9901","systemSign":"kfpt","timeStamp":"1646830874618","version":"20181023"},"body":{"endTime":1646830771000,"page":-1,"pageSize":-1,"radius":0,"startTime":1646830721000,"tplType":-1,"vehiclePlateNoAndColor":"车牌号在中间津B2M938@蓝色车牌号在中间"}}"""}
{ "index": { "_id": "6" }}
{ "requestData": """{"head":{"sign":"026900c830464b5ce1743e690fd74c35","systemSign":"kfpt","timeStamp":"1646761070268","version":"20181023"},"body":{"endTime":0,"page":-1,"pageSize":-1,"startTime":0,"vehicleNoAndcolors":["鄂R21081@黄色"]}}"""}

然后在requestData.carNumber字段上，对指定车牌号进行查询

# 在requestData.carNumber字段上查询关键字“津B2M938”
GET idx-susu-test-car-number/_search
{
  "query": {
    "match": {
      "requestData.carNumber": {
        "query": "津B2M938"
      }
    }
  }
}

查询结果如下，可以看到，已经能正确的根据车牌号查询出来结果
在这里插入图片描述


四、自定义分词器详解

接下来对自定义的分词器进行详解
观察该分词器的组成：

"custom_car_number_analyzer" : {
              "char_filter" : [
                "del_header_char_filter",
                "json_key_char_filter",
                "del_digit_char_filter",
                "symbol_char_filter",
                "not_car_number_char_filter"
              ],
              "tokenizer" : "whitespace",
              "filter": ["car_number"]
            }

组成如下：
1）5个自定义的character filter
2）1一个ES内置的名为whitespace的tokenizer
3）1个自定义的token filter

一个analyzer中不同角色的应用顺序
在这里插入图片描述

1.character filter

1）del_header_char_filter

基于pattern_replace规则自定义的character filter，功能是将requestData字段输入的json串中的head部分给剔除掉。定义如下：

 "del_header_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """("head":)(.*)(,"body":)""",
              "replacement" : ""
            }

假设数据的requestData内容：

{
    "head": {
        "sign": "1da02bc2e0945187612b3268437b9901",
        "systemSign": "kfpt",
        "timeStamp": "1646830874618",
        "version": "20181023"
    },
    "body": {
        "endTime": 1646830771000,
        "page": -1,
        "pageSize": -1,
        "radius": 0,
        "startTime": 1646830721000,
        "tplType": -1,
        "vehiclePlateNoAndColor": "津B2M937中间内容津B2M938@蓝色车牌号"
    }
}

则在经过该character filter处理之后，得到的结果如下,可以看到，head部分已经被剔除掉了

{ {
        "endTime": 1646830771000,
        "page": -1,
        "pageSize": -1,
        "radius": 0,
        "startTime": 1646830721000,
        "tplType": -1,
        "vehiclePlateNoAndColor": "津B2M937中间内容津B2M938@蓝色车牌号"
    }
}
2）json_key_char_filter

基于pattern_replace规则自定义的character filter，功能是将输入的json串中的key剔除出去。定义如下

"json_key_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """("\w*")(\s*)(:)""",
              "replacement" : "$3"
            }

那么上一步的结果，在经过当前的character filter 处理之后，输出如下：

{ {
        : 1646830771000,
        : -1,
        : -1,
        : 0,
        : 1646830721000,
        : -1,
        : "津B2M937中间内容津B2M938@蓝色车牌号"
    }
}
3) del_digit_char_filter

这同样是基于pattern_replace规则自定义的character filter，功能是将内容是纯数值的value值给剔除掉。定义如下

"del_digit_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """(:(-)?\d+,)""",
              "replacement" : " "
            }

上一步的结果，在经过当前character filter处理之后，得到的结果如下：

{ {
        : "津B2M937中间内容津B2M938@蓝色车牌号"
    }
}
4）symbol_char_filter

基于pattern_replace规则自定义的character filter，功能是将输入中的大括号和逗号，给替换为空格" "。定义如下：

"symbol_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """\{|\}|,""",
              "replacement" : " "
            }

上一步的结果，在经过当前character filter处理之后，得到的结果如下：

"津B2M937中间内容津B2M938@蓝色车牌号"
5) not_car_number_char_filter

这是最核心的一个character filter，它同样基于pattern_replace规则进行构建。主要功能是将不是车牌号的内容，替换成空格。定义如下：

"not_car_number_char_filter" : {
              "type" : "pattern_replace",
              "pattern" : """([^(([京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}[警京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼]{0,1}[A-Z0-9]{4}[A-Z0-9挂学警港澳]{1})(@(白|蓝|黄|黑|绿|黄绿|渐变绿)色)?)]+)""",
              "replacement" : " "
            }

上一步的结果，在经过当前character filter处理之后，得到的结果如下：

津B2M937 津B2M938@蓝色

综上，这5个character filter结合起来，完成的功能是，将输入中除了车牌号（或车牌号@颜色）的部分都剔除掉，只留下车牌号（或车牌号@颜色）



2.tokenizer

这里使用的tokenizer是ES内置的whitespace。由于前面的几个character filter已经将输出处理的只剩下车牌号了（并且若有多个车牌号，则多个车牌号之间是空格作为分隔符），因此这里使用whitespace这个tokenizer来进行切分。
依旧使用上面的示例，则经过切分之后，将得到如下的2个token：

["津B2M937", "津B2M938@蓝色"]



3.token filter

这里使用的是一个名为car_number的自定义的token filter，它是基于pattern_capture的token filter规则来构建的，该规则的更多详情可参考ES官网。

自定义的car_number 的token filter 具体定义如下：

"car_number" : {
               "type" : "pattern_capture",
               "preserve_original" : true,
               "patterns" : [
                  "([京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领A-Z]{1}[A-Z]{1}[警京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼]{0,1}[A-Z0-9]{4}[A-Z0-9挂学警港澳]{1})",
                  "(白色|蓝色|黄色|黑色|绿色|黄绿色|渐变绿色)"
               ]
            }

该token filter的功能是，对于从tokenizer接收过来的类似津B2M938@蓝色这样的token，再次进行处理，将其切分如下：

["津B2M938", "蓝色", "津B2M938@蓝色"]

最后看下该分词器的分词效果：
在这里插入图片描述


五、参考

  1. 自定义analyzer：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-custom-analyzer.html#_configuration
  2. 自定义character filter：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-charfilters.html
  3. 自定义tokenizer：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-tokenizers.html
  4. 自定义token filter：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-tokenfilters.html
象牙酥
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch-ik中文分词器7.6.2.zip
04-11
**Elasticsearch 7.6.2 中文分词器详解** Elasticsearch 是一个流行的开源全文搜索引擎，它提供了一种高效、灵活的方式来存储、搜索和分析大量数据。在处理中文文档时，为了实现准确的搜索和匹配，我们需要使用特定...
elasticsearch-pinyin分词器
最新发布
06-05
在Elasticsearch的索引设置中，我们需要定义Analyzer来使用pinyin分词器。以下是一个示例配置： ```json { "settings": { "analysis": { "analyzer": { "my_pinyin_analyzer": { "tokenizer": "pinyin", ...
ES之分析器(Analyzer)
u011250186的博客
07-10 5168
ES-分词器(Analyzer)
Elasticsearch Analyzer 内置分词器
qq_34285557的博客
11-04 2006
Elasticsearch Analyzer 内置分词器 篇主要介绍一下 Elasticsearch中 Analyzer 分词器的构成 和一些Es中内置的分词器 以及如何使用它们 前置知识 es 提供了 analyze api 可以方便我们快速的指定 某个分词器 然后对输入的text文本进行分词 帮助我们学习和实验分词器 POST _analyze { "analyzer": "standard", "text": "Th
Elasticsearch分词及其自定义
batman
05-15 1266
业务需求是这样的：有一个作者字段，比如Li，LeiLei；Han，MeiMei以及LeiLei Li……现在要对其进行精确匹配。对此，你有什么想法？你可能会考虑用自定义分词的方式，通过分号分词。但是这样的话，如果检索Li，LeiLei，那么LeiLei Li就不能被搜索到，而我们希望LeiLei Li也被搜索到。并且对于这种分词，Li，LeiLei中间不加逗号也不能匹配到。但是为什么在映射里面添加停用词也是无效的呢？
Elasticsearch自定义分词器
黑马程序员官方博客
09-08 2396
分词器的基础上的拼音，比如： 长隆大马戏可以分词出马戏， 那么就应该有对应的拼音， maxi。默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分 词器做个性化定制，形成自定义分词器。拼音分词器对我们每一个汉字都解析出对应的中文，但是这个并不是我们所需要的结果，我们需要的结 果基于ik。声明自定义分词器的语法如下： 自定义分词器是属于某一个索引库的，并不是全局的。要实现拼音分词检索，就必须对文档按照拼音分词。之前对文本进行处理。，然后经过过滤器，过滤器是拼音分词 器，
ElasticSearch入门：ES分词器与自定义分词器
qq_37426635的博客
05-12 1万+
ES入门：ES分词器与查询相关分词器的简单介绍不同分词器的效果对比自定义分词器的应用 分词器的简单介绍 分词器是es中的一个组件，通俗意义上理解，就是将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；ES会将text格式的字段按照分词器进行分词，并编排成倒排索引，正是因为如此，es的查询才如此之快； es本身就内置有多种分词器，他们的特性与作用梳理如下： 分词器 作用 Standard ES默认分词器，按单词分类并进行小写处理 Simple 按照非字母切分，然
ElasticSeach-自定义分词器
qq_36740038的博客
06-09 278
character filters : 在tokenizer 之前对文本进行处理，例如删除字符替换字符tokenizer: 将文本按照一定的规则切割成词条（term）。例如keyword就是不分词，还有ik_smarktokenizer-filters: 将tokenizer 输出的词条进一步处理。例如大小写转换，统一次处理，拼音处理等。创建索引时，使用拼音分词器查询文档时，不使用拼音分词器，用ik_max_smart或 ik_smart。
elasticsearch拼音分词器，亲测有效
01-02
本篇文章将详细介绍Elasticsearch中的拼音分词器以及如何配置和使用。 拼音分词器是Elasticsearch为了实现基于汉语拼音的搜索功能而设计的。它会将中文字符转换为其对应的拼音，从而使得用户可以通过输入拼音进行...
elasticsearch 中文分词器ik
09-13
**Elasticsearch中文分词器IK** Elasticsearch（ES）是流行的全文搜索引擎，它基于Lucene库构建，提供了一个分布式、RESTful风格的搜索和分析引擎服务。然而，对于中文这种复杂的语言，Elasticsearch默认的分词器...
Elasticsearch中ik分词器
08-26
在Elasticsearch（ES）这个强大的全文搜索引擎中，分词器（Analyzer）扮演着至关重要的角色。它负责将输入的文本拆分成可搜索的独立单元，这些单元被称为“词语”或“术语”（tokens）。其中，IK分词器（Smart ...
ES搜索框架--设置IK分词器
qq_51641196的博客
04-08 3398
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaXzw/一、安装官网教程：https://github.com/medcl/elasticsearc...
自定义分词器
男儿当自强
11-03 679
在Es中，一个字段可以定义多个字段类型，并设置分词器。 Es分词器由三部分组成：character filter:分词前过滤；tokenizer:按照一定逻辑规则分词；token filter:对分词结果处理。 1 用keyword分词（输入即输出），并在分词前过滤掉html post _analyze { "tokenizer":"keyword", "char_filter":["html_strip"], "text":"<b>hello word</b&gt...
自定义分词器：ElasticSearch自定义分词器
禅与计算机程序设计艺术
01-21 1051
1.背景介绍 自定义分词器：ElasticSearch自定义分词器 1. 背景介绍 ElasticSearch是一个开源的搜索和分析引擎，它提供了实时的、可扩展的、高性能的搜索功能。ElasticSearch使用Lucene库作为底层搜索引擎，它提供了强大的文本分析和搜索功能。在ElasticSearch中，分词器是将文本拆分为单词的过程，它是搜索和分析的基础。 自定义分词器是Elasti...
01.analyzer简介及char_filter组件
热门推荐
寒夜
07-12 1万+
文章目录1. es的词分析组件analyzer简介1.1 在index的时候如何选择analyzer1.1.1. 使用index mapping中对该filed进行analysis1.1.2. default analyzer1.1.3.使用standard ananlyzer1.2 在search的时候如何选择analyzer1.2.1. 优先使用在query中指定的analyzer1.2.2. 使用index mapping中对该field定义的 search_analyzer1.2.3. 使用ma
全文检索问题：根据车牌号查询，检索结果跟预期不一致的问题的排查与解决方法
qq_20068025的博客
03-12 2655
对于ES索引中的某个字段，已经使用分词器进行了分词，但是之后在使用某个关键词去进行全文检索时，却没有搜索到预期中的结果。本文将以一个示例对此进行讲解。
ElasticSearch创建后的索引如何修改数据类型
qq_31107685的博客
07-06 5221
在中，一旦创建索引，就不能更改现有字段的数据类型。如果您需要更改数据类型，则需要重新创建索引并使用新的数据类型。以下针对各种业务场景总结几种修改方法。
【9种】ElasticSearch分词器详解，一文get！！！| 博学谷狂野架构师
博学谷狂野架构师的博客
05-08 6816
分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer）来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入，会自动帮你分成两个单词，一个是mastering，另一个是，可以看出单词也被转化成了小写的。当内置的分词器无法满足需求时，可以创建custom类型的分词器。
elasticSearch查询分词器 的 DSL
07-07
在Elasticsearch中，查询分词器的DSL（Domain Specific Language）是指使用特定语法来构建查询的方式。下面是一个示例，展示了如何使用DSL来构建一个查询： ```json { "query": { "match": { "content": { "query": "分词器", "analyzer": "ik_smart" } } } } ``` 在上面的示例中，我们使用了`match`查询来进行全文检索，将要搜索的字段设置为`content`。`query`参数指定了要搜索的关键词，这里是"分词器"。`analyzer`参数指定了使用的分词器，这里是`ik_smart`，表示使用ik分词器的智能分词模式。 除了上述示例中的`match`查询，Elasticsearch还提供了其他类型的查询，例如`term`查询、`bool`查询等。每种查询都有其特定的DSL语法和参数，可以根据具体需求选择合适的查询类型和参数来构建查询。 需要注意的是，DSL查询可以更加复杂和灵活，可以通过组合不同类型的查询、使用过滤条件、设置排序规则等来满足具体的查询需求。以上只是一个简单的示例，实际应用中可能需要更加复杂的DSL查询来满足具体场景的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值