29、Elasticsearch进阶查询

最新推荐文章于 2023-05-08 16:22:50 发布
最新推荐文章于 2023-05-08 16:22:50 发布
阅读量739 收藏 1
点赞数
分类专栏： Go微服务实战-电商系统 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq23001186/article/details/126327399
版权

目录

一、ES查询原理

1 - 官方文档参考

  • es中的分页查询：对于es来说，from和size分页在数据量比较小的情况下可行；如果数据量比较大就要使用scroll
GET user/_search
{
  "query": {
    "match_all": {}
  },
  "from": 4,
  "size": 4
}

在这里插入图片描述

在这里插入图片描述

2 - 倒排索引

在这里插入图片描述

3 - es的搜索过程

在这里插入图片描述

二、全文查询

1 - match查询

  • match查询：
    • 模糊匹配，需要指定字段名，但是输入会进行分词，比如“hello world”会进行拆分为hello和world，然后匹配，如果字段中包含hello或world，或者都包含的结果都会被查询出来；
    • 并且大小写不敏感，也就是说match是一个部分匹配的模糊查询
GET user/_search
{
  "query": {
    "match": {
      "address": "street"
    }
  }
}

在这里插入图片描述

2 - match_phrase查询

  • match_phrase：短语查询
    • 会对输入做分词，但是需要结果中也包含所有的分词，而且顺序要求一样
    • 以“hello world”为例，要求结果中必须包含hello和world，而且还要求他们是连着的，顺序也是固定的
    • “hello that world”则不满足，world hello也不满足条件
GET user/_search
{
  "query": {
    "match_phrase": {
      "address": "Madison Street"
    }
  }
}

在这里插入图片描述

3 - multi_match查询

  • multi_match：提供了一个简便的方法用来对多个字段执行相同的查询，即对指定的多个字段进行match查询
  • 我们插入一些测试数据
POST resume/_doc/12
{
  "title":"后端工程师",
  "desc":"多年go语言开发经验，熟悉go的基本语法",
  "want_learn":"python语言"
}

POST resume/_doc/13
{
  "title":"go工程师",
  "desc":"多年开发经验",
  "want_learn":"java语言"
}

POST resume/_doc/14
{
  "title":"工程师",
  "desc":"go多年开发经验",
  "want_learn":"java语言"
}
  • 搜索title和desc包含go的数据
GET resume/_search
{
  "query": {
    "multi_match": {
      "query": "go",
      "fields": ["title","desc"]
    }
  }
}

在这里插入图片描述

  • 权重设置：我们希望title中出现go的时候得分更高，注意前面的查询13的得分是0.98，修改title的权重后，得分为1.96
GET resume/_search
{
  "query": {
    "multi_match": {
      "query": "go",
      "fields": ["title^2","desc"]
    }
  }
}

在这里插入图片描述

4 - query_string查询

  • query_string：和match类似，但是match需要指定字段名，query_string是在所有字段中搜索，范围更广泛
  • query_string简单查询
GET user/_search
{
  "query": {
    "query_string": {
      "query": "Madison Street"
    }
  }
}

在这里插入图片描述

  • query_string带连接符查询：OR、AND；注意连接符OR和AND不属于查询内容的一部分
    在这里插入图片描述

在这里插入图片描述

三、term级别查询

1 - term查询

  • term查询概念：
    • term查询不会进行分词；所有的搜索条件都不会进行分词
    • 如果查询单个单词hello，那么term查询和match查询结果是一样的；
    • 如果查询的是“hello world”，结果就差别很大了
  • term分词的影响：
    • 因为term不会分词不会转换成小写，这就导致了如果使用大写的Madison是无法搜索到结果的；
    • 因为数据插入es的时候有分词并全部转换成了小写
      在这里插入图片描述
      在这里插入图片描述

2 - range范围查询

  • 查询年龄在20-30岁之间的用户
GET user/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 20,
        "lte": 30
      }
    }
  }
}

在这里插入图片描述

3 - exists查询

#插入一条测试数据
POST user/_doc
{
  "school":"middle school"
}

#查询所有有school字段的数据
GET user/_search
{
  "query": {
    "exists": {
      "field": "school"
    }
  }
}

在这里插入图片描述

4 - Fuzzy query查询

  • Fuzzy query概念：返回包含与搜索词相似的词的文档，这些词是由Levenshtein编辑距离度量的
  • 编辑距离：将一个术语转换为另一个术语所需的一个字符的更改次数

在这里插入图片描述

  • match也可以实现模糊查询
#match中使用模糊匹配
#每个分词都会进行模糊匹配
GET user/_search
{
  "query": {
    "match": {
      "address":{
        "query": "Midison streat",
        "fuzziness": 1
      }
    }
  }
}

在这里插入图片描述
在这里插入图片描述

四、复合查询

  • bool查询：复合查询方法比较多，我们主要使用bool查询；must和should会影响得分，而must not和filter不会影响得分主要用来过滤数据；bool查询采用了一种匹配越多越好的方法，因此每个匹配的must或should子句的分数被加在一起，以提供每个文档的最终得分
    • must：必须匹配，表示查询条件必须全部满足
    • should：应该匹配，表示查询条件满足也可以，不满足也可以（满足的得分会高一些）
    • must not：必须不匹配，表示查询条件必须全部不满足
    • filter：必须匹配，过滤上下文，进行过滤
{
  "query": {
    "bool": {
      "must": [
      ],
      "should": [
      ],
      "must_not": [
      ],
      "filter": [
      ],
    }
  }
}
  • bool查询示例
GET user/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
              "state": "tn"
          }
        },
        {
          "range": {
            "age": {
              "gte": 20,
              "lte": 30
            }
          }
        }
      ],
      "must_not": [
        {
          "term": {
            "gender": "m"
          }
        }
      ],
      "should": [
        {
          "match": {
            "firstname": "Decker"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "age": {
              "gte": 25,
              "lte": 30
            }
          }
        }
      ]
    }
  }
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、mapping

1 - keyword

  • 什么是mapping：
    • mapping类似于数据库中的表结构定义schema；
    • mapping在es中用于定义索引中的字段的名称定义字段的数据类型，比如字符串、数字、布尔、倒排索引的相关配置，比如设置某个字段为不被索引、记录position等；
    • 在es早期版本，一个索引下是可以有多个type，从7.0开始，一个索引只有一个type，也可以说一个type有一个mapping定义
      在这里插入图片描述
  • 带keyword查询
    在这里插入图片描述
  • 自定义类型
PUT usertest
{
  "mappings": {
    "properties": {
      "age":{
        "type": "integer"
      },
      "name":{
        "type": "text"
      },
      "desc":{
        "type": "keyword"
      }
    }
  }
}

在这里插入图片描述

2 - match查询原理

  • 我们来查看如下的场景：为什么match查询keyword的desc，可以查询到结果
    在这里插入图片描述

六、分析器Analyzer

1 - analyzer分类

  • analyzer由三部分组成
    • ①.Character Filter（字符过滤器）：Character Filter字符过滤器接收原始的输入文本，对字符序列进行过滤(如去掉HTML标签，转换阿拉伯数字等)；一个analyzer分析器可以有0或n个按顺序执行的字符过滤器
    • ②.Tokenizer（分词器）：将经过处理的文本流分解/分词为单个令牌/术语(token, term, word)；标记器也要记录每个term的顺序/位置，以及该术语所表示的原始单词的开始和结束字符偏移量。一个analyzer分析器有且只有一个分词器
    • ③.Token Filters（词条过滤器）：词条过滤器接收词条流，并可以对通过的词条进行增删改(如：将词条转小写，删除停止词，引入同义词条等)；词条过滤器不可以更改每个词条的位置或字符偏移量；一个analyzer分析器可以有0或n个按顺序执行的单词过滤器
  • Elasticsearch内置的分词器
    在这里插入图片描述
  • Standard Analyzer
GET _analyze
{
  "analyzer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Simple Analyzer：按照非字母切分，非字母则会被去除；小写处理
GET _analyze
{
  "analyzer": "simple",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Stop Analyzer：小写处理；停用词过滤（the，a，is）
GET _analyze
{
  "analyzer": "stop",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Whitespace Analyzer：按空格切分（注意没有大写转小写）
GET _analyze
{
  "analyzer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Keyword Analyzer：不分词，当成一整个term输出
GET _analyze
{
  "analyzer": "keyword",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Patter Analyzer：通过正则表达式进行分词；默认是\W+（非字母进行分隔）
GET _analyze
{
  "analyzer": "pattern",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

  • Language Analyzer：语言分析器；中文分词要比英文分词要难，英文都以空格分隔，中文理解通常需要上下文理解才能有正确的理解，比如“苹果，不大好吃”和“苹果，不大，好吃”，这两句意思完全不一样
GET _analyze
{
  "analyzer": "english",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

在这里插入图片描述

2 - 存数据指定Analyzer

  • 指定Analyzer
    在这里插入图片描述
  • 查询也可以指定Analyzer
GET usertest/_search
{
  "query": {
    "match": {
      "desc":{
        "query": "671 Bristol Street",
        "analyzer": "keyword"
      }
    }
  }
}

在这里插入图片描述

3 - Analyzer顺序

七、分词

1 - 分词的重要性

POST cn/_doc
{
  "name":"中华牙膏"
}

GET cn/_search
{
  "query": {
    "match": {
      "name": "中立"
    }
  }
}

GET _analyze
{
  "text": "中华牙膏"
}

在这里插入图片描述
在这里插入图片描述

2 - 分词的意义

  • 将复杂问题转换为数学问题：机器学习中NLP就是如此，文本都是一些【非结构化数据】，先将这些数据转化为【结构化数据】，结构化数据就可以转换为【数学问题】，而分词就是转化的第一步
  • 词是一个比较合适的粒度：
    • 词是表达完整含义的最小单位；
    • 字的粒度太小，无法表达完整含义，如“鼠”可以是“老鼠”也可以是“鼠标”；
    • 而句的粒度太大，承载的信息量多，很难复用，比如“传统方法要分词，一个重要原因是传统方法对远距离依赖的建模能力较弱”
      在这里插入图片描述
  • 中文分词工具：根据github上的star排名
    • jieba
    • Hanlp
    • IK
    • Stanford分词
    • ansj 分词器
    • 哈工大 LTP
    • KCWS分词器
    • 清华大学THULAC
    • ICTCLAS
  • 英文分词工具
    • Keras
    • Spacy
    • Gensim
    • NLTk

3 - IK分词器安装与配置

GET _analyze
{
  "text": "中华牙膏",
  "analyzer": "ik_smart"
}

在这里插入图片描述

  • ik_max_word：将所有分词的可能都列举出来
GET _analyze
{
  "text": "中国科学技术大学",
  "analyzer": "ik_max_word"
}

在这里插入图片描述
在这里插入图片描述

4 - 自定义分词器词库

  • 如果我们希望“好网不”在分词的不被分开如何解决？
GET _analyze
{
  "text": "好网不的课程",
  "analyzer": "ik_smart"
}

在这里插入图片描述

  • ik定义的词库位置：
    在这里插入图片描述
  • 我们自定义词库

在这里插入图片描述

  • mydic.dic：添加“好网不”、“中华牙膏”
  • extra_stopword.dic：“的”、“是”、“哟”
  • 添加自定义词库到ik中：

在这里插入图片描述
在这里插入图片描述

  • 重启ES容器
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
无休止符
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch 子查询
sugang_ximi的专栏
01-19 8997
curl -XPOST 'xxxx:9200/yl1001search_2015/groups/_search?pretty=true' -d ' { "query": { "bool": { "must": [ { "terms": { "group_audit_status": [
es系列:忽略大小写查询
zhuchunyan_aijia的博客
04-11 2997
对于elasticsearch查询忽略大小写的问题，官方给出了一个解决方案，使用normalizer来解决，normalizer是的一个属性，可以对keyword生成的单一term,query_string做进一步的处理，比如lowercase,小写转换，使用方式和自定义分词器有相似之处，需要自定义，具体步骤如下。所以注意:对已有索引中字段,增加normalizer属性, 新增数据或者更新的数据,查询是生效的.但是历史数据, 如果不更新,则不生效的. 所以你需要reindex处理。
ES默认的标准分析器
duzm200542901104的专栏
07-25 852
分词器standard分词器分词过滤器standard分词过滤器、lowercase分词过滤器stop分词过滤器（默认不启用）如果我们需要定制化standard分析器超出了上面提供的三个配置参数，我们就需要重新创建一个个性化的分析器并修改它（通常情况下新增分词过滤器）。{{{{{"filter"[]}}}}}我们可以在lowercase的分词过滤器后面新增我们想要的过滤器。...
【9种】ElasticSearch分词器详解，一文get！！！| 博学谷狂野架构师
博学谷狂野架构师的博客
05-08 6073
分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer）来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入，会自动帮你分成两个单词，一个是mastering，另一个是，可以看出单词也被转化成了小写的。当内置的分词器无法满足需求时，可以创建custom类型的分词器。
match_phrase短语匹配和近似匹配
勇心在馨
06-06 7578
在上一篇match query讨论了全文检索 比如，有如下查询 { "match": { "content": "java spark" } } match query，只能搜索到包含java和spark的document，但是不知道java和spark是不是离的很近。 如果希望搜索java spark，中间不能插入任何其他的字符，那这个时候match去做全文检索是无法做到的，此时需要使用match_phrase 一、match_phrase（短语匹配） GET...
EDIT消息
zhuzhuxia
10-04 410
业精于勤而荒于嬉，行成于思而毁于随。 编辑框(Edit)控件实际上是一个简易的文本编辑器，用户可以在编辑框中输入可添加或插入文本。还有复制、粘贴、剪切、删除等编辑功能。 　　应用程序用CreateWindowEx创建编辑框控件时，可根据控件的用途在下表中选择部份常数来设定其风格属性(style)。 常数说明 ES_MULTILINE 多行文本，指定编辑控件可以多行文本编辑，用户每按一次Ent
ElasticStack学习之Elasticsearch进阶.zip
10-16
4. **查询与聚合**：Elasticsearch提供丰富的查询语法，如全文搜索、布尔查询、范围查询等。而聚合功能则允许对数据进行统计分析，如求平均值、计数、分桶等。掌握复杂的聚合查询能帮助我们挖掘数据价值。 5. **...
elasticsearch进阶（二）错误问题汇总
03-01
以下三条记录源于5台机器导入近3亿条文档1.集群压力大，某台机器失去“心跳”后，其他机器好像总找不回它，导致数据无法继续传输查看日志，是说9300拒绝连接，想不明白，怎么会拒绝连接？很显然与防火墙无关，果然，...
elasticsearch进阶教程，elasticsearch开发教程
06-12
elasticsearch进阶教程
day14-ElasticStack学习之Elasticsearch进阶.zip
01-29
总之，"ElasticStack学习之Elasticsearch进阶"课程涵盖了Elasticsearch的各个方面，从基础概念到高级特性，旨在帮助开发者充分利用这个强大的搜索引擎。通过理论与实践的结合，学员们不仅能理解Elasticsearch的工作...
Elasticsearch开发进阶指南
最新发布
07-01
Elasticsearch开发进阶指南
Elasticsearch进阶（一）写入性能基准测试写入性能优化
03-01
进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为：从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同...
ElasticSearch高级和进阶（高清视频教程）.rar
01-21
Elasticsearch，简称ES，是一款基于Lucene的分布式、RESTful风格的搜索和数据分析引擎，广泛应用于大数据处理和全文检索领域。本教程将深入探讨Elasticsearch的高级特性和进阶技巧，帮助用户提升对这一强大工具的...
Elasticsearch 开发手册
09-08
在数据抽取 ELT 领域，ES 全家桶 ELK（Elasticsearch+Logstash+Kibana）赫赫有名。 Elasticsearch 基本概念： * 倒排索引：Elasticsearch 为什么快，核心设计理念就是采用了倒排索引机制。倒排索引的方式是，根据 ...
Elasticsearch的进阶之路
06-13
课程介绍：本课程是基于Elastic...6、学会使用Elasticsearch DSL查询；7、Elasticsearch强大聚合功能的使用；8、使用Java客户端操作Elasticsearch；9、学会通过SQL操作Elasticsearch；10、Elasticsearch性能优化及
ES学习记录10.2——ES分析器3(标记过滤器)
jacksonary的博客
11-09 3956
 作为分析器三大组成部分的另一部分，标记过滤器(token filters)是非必要的。token filters从标记生成器tokenizer那里接受标记输入流，可以用来修改(如将术语转成小写)、删除(如移除段词)或添加(如同义词)token。ES提供给了很多内置的标记过滤器，这些标记过滤器可以在自定义的分析器中使用。 1. 标准标记过滤器(Standard Token Filter)  sta...
ES中增加大小写不敏感的分词器配置
点滴记录，积流成河！
08-15 9136
1. 在50和52的 config/elasticsearch.yml 中增加以下配置 index:   analysis:     analyzer:       string_lowercase:         tokenizer: keyword         filter: lowercase 2. 重启es 3. 创建一个测试 index: test {     "mappi...
ES常用操作笔记
安迪爸爸
10-12 980
创建索引模板 以下参数配置定义官网都有介绍，这块就直接记录官网的地址，方便查阅。 索引模板的具体参数参考官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.9/indices-templates-v1.html 索引setting具体参数参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-modules.html#index-modules-set
Elasticsearch - 分析器以及是否区分大小写 - 学习/实践
william_n的博客
12-06 845
1.应用场景 主要用于使用ES做搜索时， 了解其中的原理以及应对方案。 2.学习/操作 1.文档阅读 Elasticsearch分析器结构组成 - Jong_L - 博客园 分析与分析器 | Elasticsearch: 权威指南 | Elastic ES之分析器(Analyzer) - 简书 elasticsearch分析器 - 简书 Analysis | Elasticsearch Reference [5.5] |
Elasticsearch进阶推荐书籍
04-01
以下是我推荐的 Elasticsearch 进阶书籍： 1. Elasticsearch: The Definitive Guide, Second Edition 这本书是 Elasticsearch 官方推荐的文档，详细介绍了 Elasticsearch 的各个方面，包括架构、查询、索引、分析等。适合想要深入学习 Elasticsearch 的读者。 2. Elasticsearch in Action 这本书介绍了 Elasticsearch 的基本概念和使用方法，包括索引、搜索、聚合等。同时还介绍了 Elasticsearch 的一些高级功能，如分布式搜索、复制、故障转移等。适合初学者和有一定经验的读者。 3. Mastering Elasticsearch, Third Edition 这本书主要介绍了 Elasticsearch 的高级应用，包括数据建模、查询优化、分布式部署等。同时还介绍了一些 Elasticsearch 的应用场景，如日志分析、搜索引擎等。适合有一定经验的读者。 4. Elasticsearch Server, Second Edition 这本书主要介绍了 Elasticsearch 的安装、配置和部署，包括集群配置、安全性、监控等。同时还介绍了 Elasticsearch 的一些高级功能，如分布式搜索、复制、故障转移等。适合系统管理员和开发人员。 希望这些推荐对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无休止符

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值