[西柚仔]ElasticSearch高级检索总结

最新推荐文章于 2023-07-09 12:47:43 发布
最新推荐文章于 2023-07-09 12:47:43 发布
阅读量391 收藏 1
点赞数
分类专栏： 西柚仔 文章标签： java elasticsearch 搜索引擎 es lucene
原文链接：https://blog.csdn.net/weixin_45921762/article/details/107933085
版权

1.1 检索方式 _search

ES官方提供了两中检索方式:一种是通过 URL 参数进行搜索,另一种是通过 DSL(Domain Specified Language) 进行搜索。官方更推荐使用第二种方式第二种方式是基于传递JSON作为请求体(request body)格式与ES进行交互，这种方式更强大，更简洁。

image-20200701225025975

  • 使用语法

    URL查询: GET /索引/类型/_search?参数

    DSL查询: GET /索引/类型/_search {}

1.2 测试数据

1.删除索引
DELETE /ems

2.创建索引并指定类型
PUT /ems
{
  "mappings":{
    "emp":{
      "properties":{
        "name":{
          "type":"text"
        },
        "age":{
          "type":"integer"
        },
        "bir":{
          "type":"date"
        },
        "content":{
          "type":"text"
        },
        "address":{
          "type":"keyword"
        }
      }
    }
  }
}

3.插入测试数据
PUT /ems/emp/_bulk
  {"index":{}}
  {"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿，在众多可行的方案中决择需要很高的经验和水平","address":"北京"}
  {"index":{}}
  {"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构，由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式","address":"上海"}
  {"index":{}}
  {"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架，它依赖于Spring Boot，有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多，涉及微服务的方方面面，井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"}
  {"index":{}}
  {"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释， Spring是如何简化Java开发的？","address":"南京"}
  {"index":{}}
  {"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API","address":"杭州"}
  {"index":{}}
  {"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口","address":"北京"}

1.2 URL检索

GET /ems/emp/_search?q=*&sort=age:asc

​ _search 搜索的API
​ q=* 匹配所有文档
​ sort 以结果中的指定字段排序

GET /ems/emp/_search?q=*&sort=age:desc&size=5&from=0&_source=name,age,bir

1.3 DSL检索

NOTE: 以下重点讲解DSL语法

GET /ems/emp/_search
{
    "query": {"match_all": {}},
    "sort": [
        {
            "age": {
                "order": "desc"
            }
        }
    ]
}

1.4 DSL高级检索(Query)

0. 查询所有(match_all)

match_all关键字: 返回索引中的全部文档

GET /ems/emp/_search
{
 	"query": { "match_all": {} }
}
1. 查询结果中返回指定条数(size)

size 关键字: 指定查询结果中返回指定条数。 默认返回值10条

GET /ems/emp/_search
{
 	"query": { "match_all": {} },
	"size": 1
}
2. 分页查询(from)

from 关键字: 用来指定起始返回位置，和size关键字连用可实现分页效果

GET /ems/emp/_search
{
      "query": {"match_all": {}},
      "sort": [
        {
          "age": {
            "order": "desc"
          }
        }
      ],
      "size": 2, 
      "from": 1
}
3. 查询结果中返回指定字段(_source)

_source 关键字: 是一个数组,在数组中用来指定展示那些字段

GET /ems/emp/_search
{
      "query": { "match_all": {} },
      "_source": ["name", "age"]
}
4. 关键词查询(term)

term 关键字: 用来使用关键词查询

GET /ems/emp/_search
{
  "query": {
    "term": {
      "address": {
        "value": "北京"
      }
    }
  }
}

NOTE1: 通过使用term查询得知ES中默认使用分词器为标准分词器(StandardAnalyzer),标准分词器对于英文单词分词,对于中文单字分词。

NOTE2: 通过使用term查询得知,在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词，只有text类型分词。

5. 范围查询(range)

range 关键字: 用来指定查询指定范围内的文档

GET /ems/emp/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 8,
        "lte": 30
      }
    }
  }
}
6. 前缀查询(prefix)

prefix 关键字: 用来检索含有指定前缀的关键词的相关文档

GET /ems/emp/_search
{
  "query": {
    "prefix": {
      "content": {
        "value": "redis"
      }
    }
  }
}
7. 通配符查询(wildcard)

wildcard 关键字: 通配符查询 ? 用来匹配一个任意字符 * 用来匹配多个任意字符

GET /ems/emp/_search
{
  "query": {
    "wildcard": {
      "content": {
        "value": "re*"
      }
    }
  }
}
8. 多id查询(ids)

ids 关键字 : 值为数组类型,用来根据一组id获取多个对应的文档

GET  /ems/emp/_search
{
  "query": {
    "ids": {
      "values": ["lg5HwWkBxH7z6xax7W3_","lQ5HwWkBxH7z6xax7W3_"]
    }
  }
}
9. 模糊查询(fuzzy)

fuzzy 关键字: 用来模糊查询含有指定关键字的文档

GET /ems/emp/_search
{
  "query": {
    "fuzzy": {
      "content":"spring"
    }
  }
}

fuzzy 模糊查询  最大模糊错误 必须在0-2之间
# 搜索关键词长度为 2 不允许存在模糊 0
# 搜索关键词长度为3-5 允许一次模糊 0 1 
# 搜索关键词长度大于5 允许最大2模糊
10. 布尔查询(bool)

bool 关键字: 用来组合多个条件实现复杂查询

​ must: 相当于&& 同时成立

​ should: 相当于|| 成立一个就行

​ must_not: 相当于! 不能满足任何一个

GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "age": {
              "gte": 0,
              "lte": 30
            }
          }
        }
      ],
      "must_not": [
        {"wildcard": {
          "content": {
            "value": "redi?"
          }
        }}
      ]
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}
11. 高亮查询(highlight)

highlight 关键字: 可以让符合条件的文档中的关键词高亮

GET /ems/emp/_search
{
  "query": {
    "term": {
      "content": {
        "value": "redis"
      }
    }
  },
  "highlight": {
    "fields": {
      "*": {}
    }
  }
}

自定义高亮html标签: 可以在highlight中使用pre_tags和post_tags

GET /ems/emp/_search
{
  "query":{
    "term":{
      "content":"框架"
    }
  },
  "highlight": {
    "pre_tags": ["<span style='color:red'>"],
    "post_tags": ["</span>"],
    "fields": {
      "*":{}
    }
  }
}

多字段高亮 使用require_field_match开启多个字段高亮

 GET /ems/emp/_search
{
  "query":{
    "term":{
      "content":"框架"
    }
  },
  "highlight": {
    "pre_tags": ["<span style='color:red'>"],
    "post_tags": ["</span>"],
    "require_field_match":false,
    "fields": {
      "*":{}
    }
  }
}
12. 多字段查询(multi_match)
GET /ems/emp/_search
{
  "query": {
    "multi_match": {
      "query": "中国",
      "fields": ["name","content"] #这里写要检索的指定字段
    }
  } 
}

2. Filter Query(过滤查询)

2.1 过滤查询

其实准确来说，ES中的查询操作分为2种: 查询(query)和过滤(filter)。查询即是之前提到的query查询，它 (查询)默认会计算每个返回文档的得分，然后根据得分排序。而过滤(filter)只会筛选出符合的文档，并不计算 得分，且它可以缓存文档 。所以，单从性能考虑，过滤比查询更快。

换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时， 应先使用过滤操作过滤数据， 然后使用查询匹配数据。

image-20200703141421055

2.2 过滤语法

GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "框架"
            }
          }
          
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 8,
            "lte": 23
          }
        }
      }
    }
  }
}

NOTE: 在执行filter和query时,先执行filter在执行query

NOTE:Elasticsearch会自动缓存经常使用的过滤器，以加快性能。

2.3 常见的过滤器类型

term 、 terms Filter
GET /ems/emp/_search   # 使用term过滤
{
  "query": {
    "bool": {
      "must": [
        {"term": {
          "name": {
            "value": "小黑"
          }
        }}
      ],
      "filter": {
        "term": {
          "content":"框架"
        }
      }
    }
  }
}
ranage filter
GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "框架"
            }
          }
          
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 8,
            "lte": 23
          }
        }
      }
    }
  }
}
exists filter

过滤存在指定字段,获取字段不为空的索引记录使用

GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "框架"
            }
          }
          
        }
      ],
      "filter": {
        "exists": {
          "field": "address"
        }
      }
    }
  }
}
ids filter

过滤含有指定字段的索引记录

GET /ems/emp/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "框架"
            }
          }
          
        }
      ],
      "filter": {
        "ids": {
          "values": [
            "M3CK3HMB3-QMRFjecIJu",
            "NXCK3HMB3-QMRFjecIJu"
          ]
        }
      }
    }
  }
}
Oreo奥利奥团队
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch全文检索
09-18
在` ESDemo `项目中，你可以找到上述操作的具体实现代码，这将帮助你更深入地理解如何在Spring Boot应用中整合和使用Elasticsearch进行全文检索。通过学习和实践，你将能够熟练地运用Elasticsearch来解决大数据的...
Elasticsearch学习总结
01-27
Elasticsearch学习总结 Elasticsearch是一个强大的分布式搜索引擎，它以文档为中心，允许存储和检索整个对象或文档。它的核心特性在于对文档内容进行索引，使得数据可以被快速搜索、排序和过滤。与传统的关系型...
如何使用ES更有效率的进行多字段模糊匹配
龙飞的博客
11-07 3171
2、ngram (分词器在对纯中文或者中英文混合相关等检索的时候很犀利，无脑的将词分隔成成为几个字连接起来)官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/analysis-ngram-tokenizer.html。min_gram和max_gram 有助于分词的效率，类似一个窗口（如下配置像一个长度1～3单位的窗口，可以在字段字符上来回滑动分词），窗口长度拉的越长，匹配的更加具体，长度越小，匹配质量越低。
es多字段模糊匹配wildcardQuery，java实现
浪丶荡
11-22 6419
es 版本：7.10.1spring-cloud版本：2.3.5.RELEASEspring-boot-starter-data-elasticsearch 版本 2.3.12.RELEASEspring-data-elasticsearch 版本 4.0.9.RELEASEes查询，需求：title或者content任意一个字段能匹配到关键词即可。
ElasticSearch入门：使用ES来实现模糊查询功能
热门推荐
qq_37426635的博客
05-13 1万+
ElasticSearch入门：使用ES来实现模糊查询功能需求描述方案设计代码设计测试中遇到的问题总结与心得 需求描述 本文针对在工作中遇到的需求：通过es来实现模糊查询来进行总结；模糊查询的具体需求是：查询基金/A股/港股等金融数据，要求可以根据字段，拼音首字母，部分拼音全称进行联想查询；需要注意的是，金融数据名称中可能不止包含汉字，还有英文，数字，特殊字符等。 方案设计 常用的es模糊查询出于性能问题，官方建议是慎重使用的，但一般针对于与其他es查询相比，如果和其他搜索工具相比，es的模糊查询性能还是不
ES multiMatchQuery 通过编码匹配不到 想做多字段模糊匹配 求大佬解答一下
he_yanghui的博客
10-23 2148
1.这个是java 方法 public List<ArchivesRecord> simpleSearch(String keyword, long pageNo, long pageSize) { // 转码 UTF-8 //keyword = URLDecoder.decode(keyword, Charset.defaultCharset()); // 条件搜索 SearchRequest searchRequest = new SearchRequest(EsE..
ElasticSearch高级和进阶（高清视频教程）.rar
01-21
总结，Elasticsearch作为一款强大的搜索引擎，不仅具备高效全文检索的能力，还能应对大数据的挑战，提供高级的分析功能。通过深入学习和实践，开发者可以充分利用其特性，解决实际问题，提升业务效率。
基于Java8的SSM+Elasticsearch全文检索的个人博客系统.zip
最新发布
06-28
Elasticsearch是一款高性能的开源搜索引擎，特别适合进行全文检索。它基于Lucene库，但提供了更高级别的API和集群管理功能。在博客系统中，Elasticsearch可以存储和索引博客文章内容，以便快速地进行关键词搜索。 ...
elasticsearch 7.9.3知识归纳整理（二）之 es基本原理及使用kibana操作es的常见命令
m0_37635053的博客
01-02 8103
es基本原理及使用kibana操作es的常见命令
Elasticsearch 基本使用（五）查询条件匹配方式(query & query_string)
冰糖的博客
07-09 8038
ES中常用的查询类型往大了分可以分为简单查询，复合查询，聚合查询等；而复合查询及聚合查询都是基于简单查询的；简单查询里面对条件的匹配方式又分为不同类型。term[s]，match，match_all，match_phrase 等等。
Es 多字段模糊查询 bool的方式
一路向前
03-18 7968
Es 多字段模糊查询 bool的方式 目录 要求： or 的方式 multi_match：多字段模糊查询： 总结： 要求： Es查询： 查询工单信息，其关联三个字段的内容； 即模糊查询三个字段：form_name, form_title , form_serial 的内容。三个字段中有查询出有符合内容的数据 输入IDC or 的方式 and 查询 同时满足，用must or 只要有一个或部分条件满足 用should，符合要求 GET /basic_inde...
ElasticSearch [二] query 查询 match_all
qq_26239917的博客
10-17 1万+
上一篇的http://xxxx.cn:9200/db*/document/_search这只是查全部的，具体怎么查需要配合query 也就是再请求体写上query get请求也是可以带请求体的 match_all 关键字 { "query": { "match_all": {} } } 效果和直接发不带query的get请求结果一致 ...
ElasticSearch第十篇：multi_match多字段查询以及wildcard模糊查询
不经意的博客
08-19 8266
1.multi_match multi_match查询提供了一个简便的方法用来对多个字段执行相同的查询，即对指定的多个字段进行match查询,其有三种类型， best_fields，most_fields以及cross_fields，默认为best_fields。 比如使用同一个查询关键字同时在company和place中查询: GET 51job/_doc/_search { "query": { "multi_match" : { "query"
ES 查询关键字(match, term, range,terms)、组合多查询(must, should, must_not,filter)、分页、排序sort、高亮highlight
加州暖阳的博客
06-10 1万+
一、常用查询关键字 1. match 查询 match查询会将搜索词分词，再与目标查询字段进行匹配，若分词中的任意一个词与目标字段匹配上，则可查询到。 { "match": { "name": "南山" }} QueryBuilders.matchQuery("name", "南山") #java代码 2.match_phrase 默认使用 match_phrase 时会精确匹配查询的短语，需要全部单词和顺序要完全一样，标点符号除外。 {"qu
ElasticSearch学习笔记 | Match_ALL进阶检索
大灰狼的小绵羊哥哥的博客
04-25 2289
一、导入测试数据 ElasticSearch官方为我们准备了一部分测试数据供调试使用，我们可以在安装完成Kinaba后进行数据导入处理 1. 获取数据 打开https://github.com/elastic/elasticsearch/blob/master/docs/src/test/resources/accounts.json 复制全部数据（点击 Raw 按钮，新页面 Ctrl + A） 2. 执行批量添加 打开 Kibana ：xxxx:5601/app/dev_tools#/conso..
java 反序列化 php数据
luck_h的博客
01-26 604
org.sction phprpc 3.0.2 /** * 对象: StringInt */public static StringInt object(String content){ PHPSerializer p = new PHPSerializer(); StringInt t = null; try { t = (StringInt)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值