Elasticsearch --- （十二）初识搜索引擎《二》

最新推荐文章于 2022-07-06 18:07:12 发布
最新推荐文章于 2022-07-06 18:07:12 发布
阅读量428 收藏
点赞数
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43240792/article/details/108194215
版权

目录

1、search api 的基础语法

2、http协议中 get 是否可以带上request body

3、快速上机动手实战Query DSL搜索语法

（1）一个例子明白什么是Query DSL（对应的Query String就是在后面？拼接）

 （2）Query DSL的基本语法

 （3）组合多个搜索条件{"query":{"bool":{"must":[{"match":{"field":value}}]}}}

4、filter与query深入对比

（1）示例

  （2）filter与query对比

5、实战常用的各种query搜索语法

（1）match all   -----查所有

（2）match    ------条件查询（会对查询条件进行分词）

（3）multi match     -----相当于or

（4）range query（range可以用在query中，也可用在filter中，query中与相关度分数有关）

（5）term query    -------会将查询条件（my test）当成整个串去倒排索引里查，不会对其分词

6、如何定位不合法的搜索以及其原因

7、如何定制搜索结果的排序规则

（1）默认排序规则： 按照_score降序排序

（2）定制排序规则（sort）

8、如何将一个field索引两次来解决字符串排序问题

9、相关度平法TF & IDF算法

（1）算法介绍

（2）_score是如何计算的（拼接上  ？explain）

（3）分析一个document是如何被匹配上的

10、内核级知识点之doc value（正排索引）

11、query phase

（4）replica shard 如何提升搜索吞吐量

12、fetch phase

13、搜索相关参数梳理

（1）preference

（2）bouncing results问题

（3）timeout

（4）routing

（5）search_type

14、scroll滚动查询

1、search api 的基础语法

（1）GET  /search {}                                                                -------查所有

（2）GET  /index1,index2/type1,type2/search {}                     ------查指定index、type

（3）GET /search{                                                                    ---------分页

           "from":0,

           "size":10

        }

2、http协议中 get 是否可以带上request body

HTTP协议，一般不允许get请求带上request body（指的是{}中的那一串），但是因为get更加适合描述查询数据的操作，因此还是这么用了，碰巧，很多浏览器或者服务器，也都支持GET+request body模式，如果遇到不支持的场景，也可以用POST /_search

GET /test_index/test_type/_search
{
  "from":0,
  "size":3
}


GET /_search?from=0&size=3


POST /_search
{
    "from":0,
    "size":3
}

3、快速上机动手实战Query DSL搜索语法

（1）一个例子明白什么是Query DSL（对应的Query String就是在后面？拼接）

GET _search
{
  "query": {
    "match_all": {}
  }
}

 （2）Query DSL的基本语法

{

          QUERY_NAME:{

                  ARGUMENT:VALUE,

                  ARGUMENT:VALUE, .......

          }

}

 

{

           QUERY_NAME:{

                   FIELD_NAME:{

                          ARGUMENT:VALUE, ......

                   }

           }

}

GET /test_index/test_type/_search          ------test_field1中包含test_field1
{
  "query": {
    "match": {
      "test_field1": "test_field1"
    }
  }
}

 （3）组合多个搜索条件{"query":{"bool":{"must":[{"match":{"field":value}}]}}}

//------------插入测试数据
PUT /website/article/3
{
  "title":"my elasticsearch article",
  "content":"elasticsearch is very bad",
  "author_id":112
}

PUT /website/article/2
{
  "title":"my hadoop article",
  "content":"hadoop is very good",
  "author_id":111
}

PUT /website/article/1
{
  "title":"my es article",
  "content":"es is very good",
  "author_id":110
}

//------搜索需求：title必须包含 Elasticsearch，content可以包含Elasticsearch也可以不包含，author_id必须不为111

GET website/article/_search
{
  "query":{
    "bool":{
      "must":[
        {
          "match":
            {
              "title":"elasticsearch"
            }
        }
      ],
      "should":[
        {
         "match":{
            "content":"elasticsearch"
          }
        }
      ],
      "must_not":[
        {
          "match":{
            "author_id":111
          }
        }
      ]
    }
  }
}

4、filter与query深入对比

（1）示例

//--------搜索请求：年龄必须大于等于30，join_date必须是2016-01-01
GET company/employee/_search
{
  "query":{
    "bool": {
      "must": [
        {
          "match": {
            "join_date":"2016-01-01"
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 30
          }
        }
      }
    }
  }
}

  （2）filter与query对比

  • filter，仅仅只是按照搜索条件过滤出需要的数据而已，不计算任何相关度分数，对相关度没有影响
  • query，会去计算每个document相对于搜索条件的相关度，并按照相关度进行排序
  • 一般来说，如果你是在进行搜索，需要将最匹配搜索条件的数据先返回，那么用query，如果只是要根据一些条件筛选出一部分数据，不关注其排序，那么用filter

（3）filter与query性能

  • filter，不需要计算相关度分数，不需要按照相关度分数进行排序，同时还有内置的自动cache最常使用filter的数据
  • query，相反，要计算相关度分数，按照分数进行排序，而且无法cache结果

5、实战常用的各种query搜索语法

（1）match all   -----查所有

GET company/employee/_search
{
  "query": {
    "match_all": {}
  }
}

（2）match    ------条件查询（会对查询条件进行分词）

GET /test_index/test_type/_search
{
  "query": {
    "match": {
      "test_field1": "test_field1"
    }
  }
}

（3）multi match     -----相当于or

//------------- test-content或test_field1中包含test
GET test_index/test_type/_search
{
  "query": {
    "multi_match": {
      "query": "test",
      "fields": ["test-content","test_field1"]
    }
  }
}

（4）range query（range可以用在query中，也可用在filter中，query中与相关度分数有关）

//-------------年龄大于30的
GET company/employee/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 30
      }
    }
  }
}

（5）term query    -------会将查询条件（my test）当成整个串去倒排索引里查，不会对其分词

GET test_index/test_type/_search
{
  "query": {
    "term": {
      "test-content": "my test"
    }
  }
}

6、如何定位不合法的搜索以及其原因

例如：

//-----------错误写法
GET test_index/test_type/_validate/query?explain
{
  "query":{
    "math":{
      "test_field":"test"
    }
  }
}


//----------提示的错误
{
  "valid": false,
  "error": "org.elasticsearch.common.ParsingException: no [query] registered for [math]"
}



//---------------书写正确时
GET test_index/test_type/_validate/query?explain
{
  "query":{
    "match":{
      "test_field":"test"
    }
  }
}

//-------------执行结果
{
  "valid": true,
  "_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
  },
  "explanations": [
    {
      "index": "test_index",
      "valid": true,
      "explanation": "+test_field:test #(#_type:test_type)"
    }
  ]
}

7、如何定制搜索结果的排序规则

（1）默认排序规则： 按照_score降序排序

默认情况下，是按照_score降序排序的

然而，某些情况下，可能没有有用的_score，比如说filter

（2）定制排序规则（sort）

//-----------年龄大于等于30，按join_date升序排
GET company/employee/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 30
      }
    }
  },
  "sort": [
    {
      "join_date": {
        "order": "asc"
      }
    }
  ]
}

8、如何将一个field索引两次来解决字符串排序问题

如果对一个string field进行排序，结果往往不准确，因为分词后是多个单词，在排序就不是想要的结果了。

通常解决方案：将一个string field建立两次索引，一个分词，用来进行搜索，一个不分词，用来进行排序

//---- 1、 手动为索引中的type建立数据结构（mapping）
PUT website
{
  "mappings": {
    "article":{
      "properties": {
        "title":{                         --------------------索引两次
          "type":"text",                   ------------分词的
          "fields": {                     ------------不分词的
            "raw":{
              "type": "string",
              "index": "not_analyzed"
            }
          },
          "fielddata": true    //正排索引
        },
        "content":{
          "type": "text"
        },
        "post_date":{
          "type": "date"
        },
        "author_id":{
          "type": "long"
        }
      }
    }
  }
}

//---- 2、插入数据
PUT website/article/3
{
  "title":"third article",
  "content":"this is my third article",
  "post_date":"2017-03-01",
  "author_id":110
}

PUT website/article/2
{
  "title":"first article",
  "content":"this is my first article",
  "post_date":"2017-02-01",
  "author_id":110
}

PUT website/article/1
{
  "title":"second article",
  "content":"this is my second article",
  "post_date":"2017-01-01",
  "author_id":110
}

//---- 3、根据title 分词排序（是根据first、second、third排序的）
GET website/article/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "title": {
        "order": "desc"
      }
    }
  ]
}

//---- 4、根据title.raw 不分词排序（是根据first article、second article、third article排序的）
GET website/article/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "title.raw": {
        "order": "desc"
      }
    }
  ]
}

9、相关度平法TF & IDF算法

（1）算法介绍

relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度

Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法

  • trem frequency：搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关

例如搜索请求：hello world

doc1：hello you,and world is very good           

doc2:hello,how are you

doc1更相关

  • inverse document frequency：搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关

例如搜索请求：hello world

doc1:hello,today is very good

doc2:hi world,how are you

比如说，在index中有一万条document，hello这个单词在所有的document中，一共出现了1000次，world这个单词在所有的document中一共出现了100次，doc2更相关

  • Field-length norm：field长度，field越长，相关度越弱

搜索请求：Hello world

doc1：{“title”：“hello article”，“content”:“balalbala 一万个单词”}

doc2：{“title”：“my article”,"content”：“balabala 一万个单词 ，hi world”}

hello world在整个index中出现的次数是一样多时，doc1更相关，title field更短

（2）_score是如何计算的（拼接上  ？explain）

GET test_index/test_type/_search?explain
{
  "query": {
    "match": {
      "test-content": "test test"
    }
  }
}

（3）分析一个document是如何被匹配上的

GET test_index/test_type/2/_explain
{
  "query": {
    "match": {
      "test-content": "test test"
    }
  }
}

10、内核级知识点之doc value（正排索引）

搜索的时候，要依靠倒排索引；排序的时候，需要依靠正排索引，看到每个document的每个field，然后进行排序，所谓的正排索引，其实就是doc values，在建立索引的时候，一方面会建立倒排索引，以供搜索用；一方面会建立正排索引，也就是doc values，以供排序、聚合、过滤等操作使用。doc values是被保存在磁盘上的，此时如果内存足够，os会自动将其缓存在内存中，性能还是很高；如果内存不够，os会将其写入磁盘上

11、query phase

（1）搜索请求发送到某一个coordinator node，构建一个priority queue，长度以paging操作from和size为准，默认为10

（2）coordinator node 将请求转发到所有的shard，每个shard本地搜索，并构建一个本地的priority queue

（3）各个shard将自己的priority queue 返回给coordinator node，并构建一个全局的priority queue

（4）replica shard 如何提升搜索吞吐量

一次请求要打到所有shard的一个replica/primary 上去，如果每个shard都有多个replica，那么同时并发过来的搜索请求可以同时打到其他的replica上

12、fetch phase

（1）coordinator node构建完priority queue之后，就发送mget请求去所有shard上获取对应的document

（2）各个shard将document返回给coordinator node

（3）coordinator node将合并后的document结果返回给client客户端

（4）一般搜索，如果不加from和size，就默认搜索前10条，按照_score排序

        

13、搜索相关参数梳理

（1）preference

决定了哪些shard会被用来执行搜索操作
_primary, _primary_first, _local, _only_node:xyz, _prefer_node:xyz, _shards:2,3

（2）bouncing results问题

两个document排序，field值相同，在不同的shard上，可能排序不同，每次请求轮询打到不同的replica shard上，每次页面上看到的搜索结果的排序都不一样。这就是bouncing result，也就是跳跃的结果。

搜索的时候，是轮询将搜索请求发送到每一个replica shard（primary shard），但是在不同的shard上，可能document的排序不同

解决方案：就是将preference设置为一个字符串，比如说user_id，让每个user每次搜索的时候，都使用同一个replica shard去执行，就不会看到bouncing results了

（3）timeout

主要就是限定在一定时间内，将部分获取到的数据直接返回，避免查询耗时过长

（4）routing

document文档路由，_id路由，routing=user_id，这样的话可以让同一个user对应的数据到一个shard上去

（5）search_type

default：query_then_fetch
dfs_query_then_fetch，可以提升revelance sort精准度

14、scroll滚动查询

如果一次性要查出来比如10万条数据，那么性能会很差，此时一般会采取用scoll滚动查询，一批一批的查，直到所有数据都查询完处理完

使用scoll滚动搜索，可以先搜索一批数据，然后下次再搜索一批数据，以此类推，直到搜索出全部的数据来
scoll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只会基于该旧的视图快照提供数据搜索，如果这个期间数据变更，是不会让用户看到的
采用基于_doc进行排序的方式，性能较高
每次发送scroll请求，我们还需要指定一个scoll参数，指定一个时间窗口，每次搜索请求只要在这个时间窗口内能完成就可以了

GET /test_index/test_type/_search?scroll=1m
{
  "query": {
    "match_all": {}
  },
  "sort": [ "_doc" ],
  "size": 3
}


{
  "_scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAACxeFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYBY0b25zVFlWWlRqR3ZJajlfc3BXejJ3AAAAAAAALF8WNG9uc1RZVlpUakd2SWo5X3NwV3oydwAAAAAAACxhFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYhY0b25zVFlWWlRqR3ZJajlfc3BXejJ3",
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 10,
    "max_score": null,
    "hits": [
      {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "8",
        "_score": null,
        "_source": {
          "test_field": "test client 2"
        },
        "sort": [
          0
        ]
      },
      {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "6",
        "_score": null,
        "_source": {
          "test_field": "tes test"
        },
        "sort": [
          0
        ]
      },
      {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "AVp4RN0bhjxldOOnBxaE",
        "_score": null,
        "_source": {
          "test_content": "my test"
        },
        "sort": [
          0
        ]
      }
    ]
  }
}

获得的结果会有一个scoll_id，下一次再发送scoll请求的时候，必须带上这个scoll_id

GET /_search/scroll
{
    "scroll": "1m", 
    "scroll_id" : "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAACxeFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYBY0b25zVFlWWlRqR3ZJajlfc3BXejJ3AAAAAAAALF8WNG9uc1RZVlpUakd2SWo5X3NwV3oydwAAAAAAACxhFjRvbnNUWVZaVGpHdklqOV9zcFd6MncAAAAAAAAsYhY0b25zVFlWWlRqR3ZJajlfc3BXejJ3"
}

11,4,7
3,2,1
20

scoll，看起来挺像分页的，但是其实使用场景不一样。分页主要是用来一页一页搜索，给用户看的；scoll主要是用来一批一批检索数据，让系统进行处理的

梦里梦见梦不见的
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch-analysis-ik-8.11.0
11-27
elasticsearch-8.11.0的分词器，配合es同版本使用，有粗粒度和细粒度分词
入门全文检索引擎ElasticSearch
iqifenxia的博客
11-07 116
1）ElasticSearch基本介绍 ElasticSearch（以下简称ES）是Java编写的基于Lucene之上的全文检索服务器，它在Lucene的基础上做了简化，使用RESTful的形式提供分布式的全文检索功能。它在海量数据检索方面是Mysql远不能及的，对于一些需要从大量文本中按照特定条件检索数据的场景，比如博客的文章检索系统，用户输入关键字搜索时不只是匹配标题那么简单，还需要对文章正文中的数据匹配，使用ES显然比Mysql更为合适且高效。区别于Mysql，ES的结构名称不同，但都有对应关系：
一个bug引发的一连串问题
qq_39234967的博客
03-19 1298
一、bug描述 点击资讯页面，展示资讯列表，等过段时间往下拉查看下一页时，发现第二页的资讯信息发布时间比第一页的资讯信息更晚一些，从而出现上图的问题。 二、bug原因 资讯数据处理流程：首先由爬虫爬取各个网站的资讯数据，落到A表，然后经过定时任务处理后放到B表，之后flink监听B表中有新增数据，就会把这条新增的数据放到es中，最后用户访问页面请求接口展示出这条数据。 已知信息： 1、由于各个网站数据源的数据刷新频率不同，为了降低成本，所以有的爬虫是一分钟爬取一次，有的是几分钟爬取一次，有的是一两个小时爬
elasticsearch查询语句(学废)
Ryan_black的博客
04-12 772
还记得之前的简单查询: 指定id查询 get world/persion/IpheZHEB1uk_PYXuZvA- 指定id查询，检索指定内容 get world/persion/IpheZHEB1uk_PYXuZvA-?_source=name,sex 下面是比较常见的完整一些的查询方法: 1.查询所有 GET _search { "query" : { "match_all" : { ...
es查询案例
冰冰凉的博客
07-06 1005
es查询案例
ElasticSearch最佳入门实践（四十九）各种query搜索语法
Fireworks
11-13 1688
1、match all 查询所有 GET /_search { "query": { "match_all": {} } } 2、match 匹配某一个filed是否包含文本 GET /_search { "query": { "match": { "title": "my elasticsearch article" }} } 3、mu
ElasticSearch搜索引擎使用-从0到1
02-25
两年前有机会接触过elasticsearch，但是未做深入学习，只是工作中用到了。越来越发现es是个不错的好东西，所以花了点时间好好学习了下。在学习过程中也发现了一些问题，网上大多资料都很零散，大部分都是实验性的...
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
ELASTICSEARCH7.6.2 动态同义词/近义词动态加载同义词/近义词 DYNAMIC_SYNONYM
elasticsearch-analysis-ik-7.9.0.zip
09-08
Elasticsearch是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速，近乎实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎/技术。 elasticsearch-analysis-ik-...
elk+kafka日志收集
陌上的博客
09-24 357
依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dep...
es的几种常用query搜索语法
zmywei_20160707的博客
11-08 1万+
1、match all GET /_search {     "query": {         "match_all": {}     } } 2、match GET /_search {     "query": { "match": { "title": "my elasticsearch article" }} } 3、multi match
Elaticsearch基本使用，这是一份面向Java开发者的复习指南
m0_60707263的博客
09-09 127
ES Restful API 中的VERB | 参数 | 作用 | | — | — | | GET | 获取请求对象的当前状态 | | POST | 改变对象的当前状态 | | PUT | 创建一个对象 | | DELETE | 销毁对象 | | HEAD | 请求获取对象的基础信息 | 创建索引的请求格式： PUT /索引库名 示例： 修改索引的请求格式： PUT /索引库名/_settings 示例： 查询所有的索引： GET _cat/indices 示例： 检测集群是否健康： G
ElasticSearch学习笔记十四 检索API
灵动的艺术的博客
10-22 1748
ElasticSearch学习笔记十四 检索API检索_searchhitstookshardstimeout多索引查询查询表达式分页合并查询语句 检索 lasticsearch 不只会_存储（stores）_ 文档，为了能被搜索到也会为文档添加_索引（indexes）_ ，这也是为什么我们使用结构化的 JSON 文档，而不是无结构的二进制数据。 文档中的每个字段都将被索引并且可以被查询 。 El...
elasticsearch-搜索选项特殊配置
豆豆不在了
02-15 1508
搜索选项 有几个 查询参数可以影响搜索过程。 偏好 偏好这个参数 preference 允许 用来控制由哪些分片或节点来处理搜索请求。 它接受像 _primary, _primary_first, _local, _only_node:xyz, _prefer_node:xyz, 和 _shards:2,3 这样的值, 这些值在 {ref}/search-reques
ElasticSearch 开发总结（八）——ElasticSearch 两次完全一样的搜索语句，第一次和第二次的返回结果不一致
腊八粥
07-24 4391
一、问题描述 针对ElasticSearch进行搜索，两次完全一致的搜索语句（在两次搜索过程中，没有更新、删除、新增等操作），第一次和第二次的返回结果不一致，之后的搜索结果又没有变化。 这种异常不是很常见，不容易复现，之前遇到过，没放在心上，于是上官网查了查。 二、个人总结 1.首先，可能是ES近实时的特性的影响，因为更新、新增等操作并不是实时的（详见：ElasticSearch 基...
elasticsearch的5种分片查询优先级
皮皮猪的专栏
03-18 5647
elasticsearch可以使用preference参数来指定分片查询的优先级，使用时就是在请求url上加上preference参数，如：http://ip:host/index/_search?preference=_primary  java的调用接口翻译为：client.prepareSearch(“index”).setPreference(“_primary”)。  默认情况下es
反转排序算法（Reverse Sort）
脚踏实地，慢慢来
07-10 6722
反转排序算法的java代码实现。
创建elastic索引报错问题解决
weixin_42551921的博客
11-18 874
报错信息： type：illegal_argument_exception reason: ****please check any require… 可能得原因： body 参数 { "mappings":{ "properties":{ "realname":{ "type":"text", "index":true }, "username":{ "type":"keyword", "index":false } } } } 看下body参数是否是mappings开始的 ...
牛逼的导航
热门推荐
HkEndless的专栏
12-27 6万+
It will be read and overwritten.      DO NOT EDIT! --> Bookmarks Bookmarks Menu     Recently Bookmarked     Recent Tags         Get Bookmark Add-ons         Mozilla Firefox
elasticsearch-analysis-ik-7.17
最新发布
11-29
elasticsearch-analysis-ik是一个Elasticsearch中文分词插件，可以帮助Elasticsearch更好地处理中文文本。以下是安装elasticsearch-analysis-ik-7.17的步骤： 1.从GitHub上下载对应版本的elasticsearch-analysis-ik...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值