Query & Filtering 与多字符串多字段查询

最新推荐文章于 2021-11-05 16:31:13 发布
最新推荐文章于 2021-11-05 16:31:13 发布
阅读量246 收藏
点赞数
分类专栏： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laimao8079/article/details/105267116
版权

在 Elasticsearch 中，有Query 和 Filter 两种不同
的 Context
● Query Context：相关性算分
● Filter Context：不需要算分（ Yes or No），
可以利⽤ Cache， 获得更好的性能

复合查询： bool Query

bool 查询
● ⼀个 bool 查询，是⼀个或者多个查询⼦句的组合
○ 总共包括 4 种⼦句。其中 2 种会影响算分，2 种不影响算分
● 相关性并不只是全⽂本检索的专利。也适⽤于 yes | no 的⼦句，匹配的⼦句越多，相关性评分
越⾼。如果多条查询⼦句被合并为⼀条复合查询语句 ，⽐如 bool 查询，则每个查询⼦句计算
得出的评分会被合并到总的相关性评分中。

● ⼦查询可以任意顺序出现
● 可以嵌套多个查询
● 如果你的 bool 查询中，没有 must 条件，
should 中必须⾄少满⾜⼀条查询

#基本语法
POST /products/_search
{
  "query": {
    "bool" : {
      "must" : {
        "term" : { "price" : "30" }
      },
      "filter": {
        "term" : { "avaliable" : "true" }
      },
      "must_not" : {
        "range" : {
          "price" : { "lte" : 10 }
        }
      },
      "should" : [
        { "term" : { "productID.keyword" : "JODL-X-1937-#pV7" } },
        { "term" : { "productID.keyword" : "XHDK-A-1293-#fJ3" } }
      ],
      "minimum_should_match" :1
    }
  }
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 2.2039728,
    "hits" : [
      {
        "_index" : "products",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 2.2039728,
        "_source" : {
          "price" : 30,
          "avaliable" : true,
          "productID" : "JODL-X-1937-#pV7"
        }
      }
    ]
  }
}

如何解决结构化查询 – “包含⽽不是相等”的问题

#改变数据模型，增加字段。解决数组包含而不是精确匹配的问题
POST /newmovies/_bulk
{ "index": { "_id": 1 }}
{ "title" : "Father of the Bridge Part II","year":1995, "genre":"Comedy","genre_count":1 }
{ "index": { "_id": 2 }}
{ "title" : "Dave","year":1993,"genre":["Comedy","Romance"],"genre_count":2 }

#must，有算分
POST /newmovies/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"genre.keyword": {"value": "Comedy"}}},
        {"term": {"genre_count": {"value": 1}}}

      ]
    }
  }
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.2111092,
    "hits" : [
      {
        "_index" : "newmovies",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.2111092,
        "_source" : {
          "title" : "Father of the Bridge Part II",
          "year" : 1995,
          "genre" : "Comedy",
          "genre_count" : 1
        }
      }
    ]
  }
}

#Filter。不参与算分，结果的score是0
POST /newmovies/_search
{
  "query": {
    "bool": {
      "filter": [
        {"term": {"genre.keyword": {"value": "Comedy"}}},
        {"term": {"genre_count": {"value": 1}}}
        ]

    }
  }
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.0,
    "hits" : [
      {
        "_index" : "newmovies",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.0,
        "_source" : {
          "title" : "Father of the Bridge Part II",
          "year" : 1995,
          "genre" : "Comedy",
          "genre_count" : 1
        }
      }
    ]
  }
}

Query Context – 影响算分

#Query Context
POST /products/_bulk
{ "index": { "_id": 1 }}
{ "price" : 10,"avaliable":true,"date":"2018-01-01", "productID" : "XHDK-A-1293-#fJ3" }
{ "index": { "_id": 2 }}
{ "price" : 20,"avaliable":true,"date":"2019-01-01", "productID" : "KDKE-B-9947-#kL5" }
{ "index": { "_id": 3 }}
{ "price" : 30,"avaliable":true, "productID" : "JODL-X-1937-#pV7" }
{ "index": { "_id": 4 }}
{ "price" : 30,"avaliable":false, "productID" : "QQPX-R-3956-#aD8" }

GET products/_search
POST /products/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "productID.keyword": {
              "value": "JODL-X-1937-#pV7"}}
        },
        {"term": {"avaliable": {"value": true}}
        }
      ]
    }
  }
}
 

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 1.5606477,
    "hits" : [
      {
        "_index" : "products",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.5606477,
        "_source" : {
          "price" : 30,
          "avaliable" : true,
          "productID" : "JODL-X-1937-#pV7"
        }
      },
      {
        "_index" : "products",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.35667494,
        "_source" : {
          "price" : 10,
          "avaliable" : true,
          "date" : "2018-01-01",
          "productID" : "XHDK-A-1293-#fJ3"
        }
      },
      {
        "_index" : "products",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.35667494,
        "_source" : {
          "price" : 20,
          "avaliable" : true,
          "date" : "2019-01-01",
          "productID" : "KDKE-B-9947-#kL5"
        }
      }
    ]
  }
}

bool 嵌套
● 实现了 should not 的逻辑

POST /products/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "price": "30"
        }
      },
      "should": [
        {
          "bool": {
            "must_not": {
              "term": {
                "avaliable": "false"
              }
            }
          }
        }
      ],
      "minimum_should_match": 1
    }
  }
}

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "products",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "price" : 30,
          "avaliable" : true,
          "productID" : "JODL-X-1937-#pV7"
        }
      }
    ]
  }
}

查询语句的结构，会对相关度算分产⽣影响

POST /animals/_search
{
  "query": {
    "bool": {
      "should": [
        { "term": { "text": "brown" }},
        { "term": { "text": "red" }},
        { "term": { "text": "quick"   }},
        { "term": { "text": "dog"   }}
      ]
    }
  }
}

● 同⼀层级下的竞争字段，具有有相同的权重
● 通过嵌套 bool 查询，可以改变对算分的影响

POST /animals/_search
{
  "query": {
    "bool": {
      "should": [
        { "term": { "text": "quick" }},
        { "term": { "text": "dog"   }},
        {
          "bool":{
            "should":[
               { "term": { "text": "brown" }},
                 { "term": { "text": "brown" }},
            ]
          }

        }
      ]
    }
  }
}

两个下级的权重才等于一个上级的权重

控制字段的 Boosting

● Boosting 是控制相关度的⼀种⼿段
● 索引，字段 或查询⼦条件
● 参数 boost的含义
● 当 boost > 1 时，打分的相关度相对性提升
● 当 0 < boost < 1 时，打分的权重相对性降低
● 当 boost < 0 时，贡献负分

POST /blogs/_bulk
{ "index": { "_id": 1 }}
{"title":"Apple iPad", "content":"Apple iPad,Apple iPad" }
{ "index": { "_id": 2 }}
{"title":"Apple iPad,Apple iPad", "content":"Apple iPad" }


POST blogs/_search
{
  "query": {
    "bool": {
      "should": [
        {"match": {
          "title": {
            "query": "apple,ipad",
            "boost": 1.1
          }
        }},

        {"match": {
          "content": {
            "query": "apple,ipad",
            "boost":1
          }
        }}
      ]
    }
  }
}

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.9264678,
    "hits" : [
      {
        "_index" : "blogs",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.9264678,
        "_source" : {
          "title" : "Apple iPad,Apple iPad",
          "content" : "Apple iPad"
        }
      },
      {
        "_index" : "blogs",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.92284876,
        "_source" : {
          "title" : "Apple iPad",
          "content" : "Apple iPad,Apple iPad"
        }
      }
    ]
  }
}

POST blogs/_search
{
  "query": {
    "bool": {
      "should": [
        {"match": {
          "title": {
            "query": "apple,ipad",
            "boost": 1.1
          }
        }},

        {"match": {
          "content": {
            "query": "apple,ipad",
            "boost":2 //提高boost值
          }
        }}
      ]
    }
  }
}

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 1.3812573,
    "hits" : [
      {
        "_index" : "blogs",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.3812573,
        "_source" : {
          "title" : "Apple iPad",
          "content" : "Apple iPad,Apple iPad"
        }
      },
      {
        "_index" : "blogs",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.3486862,
        "_source" : {
          "title" : "Apple iPad,Apple iPad",
          "content" : "Apple iPad"
        }
      }
    ]
  }
}

POST news/_search
{
  "query": {
    "bool": {
      "must": {
        "match":{"content":"apple"}
      }
    }
  }
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 0.17280532,
    "hits" : [
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.17280532,
        "_source" : {
          "content" : "Apple employee like Apple Pie and Apple Juice"
        }
      },
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple Mac"
        }
      },
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple iPad"
        }
      }
    ]
  }
}

POST news/_search
{
  "query": {
    "bool": {
      "must": {
        "match":{"content":"apple"}
      },
      "must_not": {
        "match":{"content":"pie"}
      }
    }
  }
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.16786805,
    "hits" : [
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple Mac"
        }
      },
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple iPad"
        }
      }
    ]
  }
}

POST news/_search
{
  "query": {
    "boosting": {
      "positive": {
        "match": {
          "content": "apple"
        }
      },
      "negative": {
        "match": {
          "content": "pie"
        }
      },
      "negative_boost": 0.5
    }
  }
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 0.16786805,
    "hits" : [
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple Mac"
        }
      },
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.16786805,
        "_source" : {
          "content" : "Apple iPad"
        }
      },
      {
        "_index" : "news",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.08640266,
        "_source" : {
          "content" : "Apple employee like Apple Pie and Apple Juice"
        }
      }
    ]
  }
}

 

laimao8079
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Query&Filtering与多字符串多字段查询
weixin_40809179的博客
11-24 62
DELETE blogs POST blogs/_bulk { "index":{"_id":1 }} {"title":"Apple iPad","content":"Apple iPad,Apple iPad" } { "index":{"_id":2 }} { "title":"Apple iPad,Apple iPad","content":"Apple iPad"} POST blogs/_search { "query": { "bool": { "should":...
ES-Query & Filtering 与多字符串多字段查询
程序猿二大爷的博客
12-04 403
ES-Query & Filtering 与多字符串多字段查询
ES-Query&Filtering与多字符串多字段查询
qq_43045747的博客
07-24 1177
Query Context &amp; Filter Content 高级搜索功能：支持多项文本输入，针对多个字段进行搜索 搜索引擎一般也提供价格，时间等条件的过滤 ES中有两种筛选的上下文 query：有算分机制 filter：无算分机制，利用缓存提高性能 Bool 复合查询 must:必须匹配 should：选择性匹配 must_not：必须不匹配 不算分 filter必须匹配 但不算分 单字符串多字段查询 例： PUT blogs/_doc/1 { "title
TermQuery进行多字段搜索
08-16 4974
使用TermQuery进行多字段搜索              Term t1=new Term("lat",queryString);             TermQuery q1=new TermQuery(t1);             Term t2=new Term("lng",query2);             TermQuery q2=new Term
JPA @Query查询单个字段和多个字段返回类型
Mr.LiuDong的博客
11-05 5922
JPA @Query查询单个字段和多个字段返回类型 前提 在使用springboot中，需要使用JPQL和SQL去查询记录。 @Query(value = " SELECT id, create_date, channel_id, channel_name, des, discount_amount, order_no, pay_amount, pay_channel, pay_status status, pay_time, reduced_amount, rs_amount, settle_amount
[Elasticsearch] 过滤查询以及聚合(Filtering Queries and Aggregations)
热门推荐
不忘初心，好好沉淀
01-16 9万+
本章翻译自Elasticsearch官方指南的Filtering Queries and Aggregations一章。 过滤查询以及聚合 A natural extension to aggregation scoping is filtering. Because the aggregation operates in the context of the quer
关于query.filter()的一些常用的方法
young_kp的博客
07-25 2万+
equals:    query.filter(User.name=='ed') not equals: query.filter(User.name!='ed') like: query.filter(User.name.like('%ed%')) in: query.filter(User.name.in_(['ed','wen','jask'])) not in: ...
九、多字段查询：queryString
dl674756321的博客
09-11 1326
queryString查询 会对查询条件进行分词 然后将分词后的查询条件和词条进行等值匹配 默认取并集（or） 可以指定多个查询字段 GET goods/_search { "query": { "query_string": { "fields": ["字段1","字段2"...], "query": "查询条件1 or 查询条件2" } } } 如果查询字段中有三个字段，而query只有「华为手机」，那么会先自动将「华为手机」分为两个词：华为、手机
Spring Hql distinct Query查询多个字段以对象形式返回
积累与坚持
03-19 350
@Query(&quot;select distinct rs.country,rs.language from ResourceBundle rs&quot; ) List getLanguageAndCountry();  我们这样写的话返回的是Object[]数组。现在想让她返回ResourceBundle。需要改写成： @Query(&quot;select distinct new ResourceBund...
HQL查询多个字段获取内容
qq_40310480的博客
11-27 1171
之前做统计查询的时候,因为表里字段太多,需要的只有两个,然后本来打算用HQL语句查, List user = (select id from User); 这样查出来是一个String型的集合,需要第几个就直接去下标就可以了 user.get(0);这是第一个ID; 但是当我查第二个的时候崩了, List user = (select id,name from User); 当时接收用Map,...
Hibernate查询对象所有字段，单个字段 ，几个字段取值的问题
宇宙的博客
03-29 1万+
在编程中需要利用hibernate查询出来的list,中某个字段的具体值，由于是查询多表得到的结果集，没有具体的泛型，在网上查得此文，特摘抄与大家分享，也方便后续查看 原文链接地址：http://www.ablanxue.com/prone_3552_1.html 简介:java教程|1.查询整个映射对象所有字段Java代码//直接from查询出来的是一个映射对象，即：查询整个映射对象所有
db2查询表结构_SQL之最佳入门sql查询
weixin_39614146的博客
11-19 1979
一 说明如果是初学者，建议去网上寻找安装Mysql的文章安装，以及使用navicat连接数据库，以后的示例基本是使用mysql数据库管理系统；二 准备前提需要建立一张学生表，列分别是id，名称，年龄，学生信息；本示例中文章篇幅原因SQL注释略；建表语句：CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` v...
[Elasticsearch] 多字段搜索 (一) - 多个及单个查询字符串
不忘初心，好好沉淀
12-08 7万+
多字段搜索(Multifield Search) 本文翻译自官方指南的Multifield Search一章。 查询很少是只拥有一个match查询子句的查询。我们经常需要对一个或者多个字段使用相同或者不同的查询字符串进行搜索，这意味着我们需要将多个查询子句和它们得到的相关度分值以一种有意义的方式进行合并。 也许我们正在寻找一本名为战争与和平的书，它的作者是Leo Tolstoy。
Hibernate高效查询，只查询部分/指定字段
云淡风轻、仅此一抹
01-17 5万+
公司使用 DetachedCriteria detachedCriteria = DetachedCriteria.forClass(PeBulletin.class); detachedCriteria.createAlias("enumConstByFlagIsvalid", "enumConstByFlagIsvalid"); detachedCriteria.createCriteria
JPA查询单个字段和多个字段返回类型总结
丢丢1573的博客
06-30 3万+
在使用springboot中，需要使用JPQL和SQL去查询记录。获取一整条记录，返回的类型就是对应的实体类或者实体类的集合。当不是全部字段时，返回类型就不能是实体类了。以下是用JPQL和SQL获取单个字段或多个字段的返回类型：JPA查询单个字段：@Query(value=&quot;select age from User u where u.name=?1&quot;) T find(String userNam...
极客ES11-Query与Filter实现多字段查询
huotong
10-13 1417
文章目录Query与Filter实现多字段查询Query和Filter过滤和查询的区别Bool查询Bool查询的语法解决结构化查询中出现的Term是“包含”而不是“相等”的問題算分影响Bool嵌套使用查询结构修改相关度使用Boost控制查询相关度Not Quite Not Query与Filter实现多字段查询 Query和Filter 过滤和查询的区别 过滤不计算得分，查询计算得分 过滤可以...
QueryBuildRange的各种条件的总结
代码生活
10-06 1284
query = new Query(); qbds  = query.addDataSource(tableNum(InventTable)); qbr   = qbds.addRange(fieldNum(InventTable, DataAreaId)); 1. 等于 qbr.value("Item1") qbr.value(strFmt('(ItemId == "%1")',
白话Elasticsearch05- 结构化搜索之使用range query来进行范围过滤
小工匠
05-12 1万+
文章目录概述 概述 range filter已经被range query取代了，所以我们这里直接来看 range query吧 https://www.elastic.co/guide/en/elasticsearch/reference/6.4/query-dsl-range-filter.html https://www.elastic.co/guide/en/elasticsearch/r...
社会感知多媒体计算：结合社交数据的图像推荐与排序
&ldquo;社会感知多媒体计算&rdquo;是将社交媒体数据与多媒体计算技术有机结合的一种方法，主要应用于图像推荐、图像排序以及产品推荐等领域。它旨在利用计算机处理文本、图像、声音、视频等多元媒体数据，以满足用户的特定信息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值