7.3 ElasticSearch运行机制之排序

最新推荐文章于 2024-04-01 10:10:50 发布
最新推荐文章于 2024-04-01 10:10:50 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 从头开始学ElasticSearch 文章标签： elasticsearch
未经博主同意，禁止转载。
本文链接：https://blog.csdn.net/Jgx1214/article/details/120124140
版权

1.简介
elasticsearch默认采用相关性算分排序，用户可以通过设定sort参数自行设定排序规则。

2.query
查询job字段为“Java engineer”的文档，然后按照出生日期为第一排序字段、相关性得分为第二排序字段、文档id为第三排序字段进行降序排序。

POST /employee/_search

{
  "query": {
    "match": {
      "job": "Java engineer"
    }
  },
  "sort": [
    {
      "birthday": "desc"
    },
    {
      "_score": "desc"
    },
    {
      "_doc": "desc"
    }
  ]
}
  • _score:指相关性得分
  • _doc:指文档内部id，和索引的顺序相关(分片内唯一，不同分片内可能相同)
{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "x4l1hnsBEsHOdz1YbMo-",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "Jason Tatum",
          "job" : "Java engineer",
          "age" : 24,
          "salary" : 15000.0,
          "birthday" : "1997-08-02"
        },
        "sort" : [
          870480000000,
          0.2876821,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wol1hnsBEsHOdz1YHsp3",
        "_score" : 0.6931472,
        "_source" : {
          "name" : "Stephen Curry",
          "job" : "Java engineer",
          "age" : 27,
          "salary" : 20000.0,
          "birthday" : "1995-08-06"
        },
        "sort" : [
          807667200000,
          0.6931472,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wYl0hnsBEsHOdz1Y4cqT",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "James Harden",
          "job" : "Java engineer",
          "age" : 31,
          "salary" : 30000.0,
          "birthday" : "1991-01-01"
        },
        "sort" : [
          662688000000,
          0.47000363,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "xol1hnsBEsHOdz1YXcqt",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "Chirs Paul",
          "job" : "Java engineer",
          "age" : 33,
          "salary" : 29000.0,
          "birthday" : "1988-12-02"
        },
        "sort" : [
          597024000000,
          0.47000363,
          2
        ]
      }
    ]
  }
}

3.字符串排序
(1).简介
字符串排序比较特殊，因为elasticsearch有text和keyword两种类型，针对text类型排序，会报如下错误。

POST /employee/_search

{
	"sort": [{
		"name": "desc"
	}]
}

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "employee",
        "node": "0JDoSBAVQr29ZB1mytSQgw",
        "reason": {
          "type": "illegal_argument_exception",
          "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
        }
      }
    ],
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.",
      "caused_by": {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    }
  },
  "status": 400
}

默认情况下，text类型字段上禁用fielddata，如果要达到预期排序效果，可以在name字段上设置fielddata=true，以便通过取消倒排索引将fielddata加载到内存中。请注意，这可能会占用大量内存，因此建议将name字段设置为keyword。

(2).解决方案
排序的过程实质上是对字段原始内容排序的过程，这个过程中倒排索引无法发挥作用，需要用到正排索引，也就是通过文档id和字段可以快速得到字段原始内容。elasticsearch提供了两种实现方式，一种是fielddata默认禁用，一种是doc_values默认启用(除了text类型)，fielddata和doc_values的对比如下。

对比fielddatadoc_values
创建时机搜索时即时创建索引时创建，与倒排索引创建时机一致
创建位置jvm heap磁盘
优点不会占用额外的磁盘资源不会占用heap内存
缺点文档过多时，即时创建会花费过多时间，占用过多heap内存减慢索引的速度，占用额外的磁盘资源

3.fielddata
(1).简介
fielddata默认是关闭的，开启后，字符串是按照分词后的term排序，往往结果很难符合预期。其次，一般是在对分词做聚合分析的时候开启。注意fielddata只针对text类型有效。

(2).开启

PUT /people/_mapping

{
  "properties": {
    "name": {
      "type": "text",
      "fielddata": true
    },
    "country": {
      "type": "keyword"
    },
    "age": {
      "type": "integer"
    },
    "birthday": {
      "type": "birthday",
      "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
    },
    "description": {
      "type": "text"
    }
  }
}

4.doc_values
(1).简介
doc_values默认是启用的，如果在创建索引时明确知道该字段不参与排序和聚合分析时就可以将其关闭以加快索引速度，节省磁盘空间。如果后面需要再开启doc_values，需要做reindex操作。

(2).开启

PUT /people/_mapping

{
  "properties": {
    "name": {
      "type": "text",
      "fielddata": true
    },
    "country": {
      "type": "keyword"
    },
    "age": {
      "type": "integer",
      "doc_values": false
    },
    "birthday": {
      "type": "birthday",
      "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
    },
    "description": {
      "type": "text"
    }
  }
}

5.聚合分析中的排序
(1).简介
可以使用自带的关键字进行排序，如_count表示对文档数进行排序，_key表示按照field值进行排序，其基本语法如下。

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"aggs_name": {
			"terms": {
				"field": "job",
				"size": 10,
				"order": [{
						"_count": "desc"
					},
					{
						"_key": "desc"
					}
				]
			}
		}
	}
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "aggs_name" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java engineer",
          "doc_count" : 4
        },
        {
          "key" : "Vue engineer",
          "doc_count" : 2
        },
        {
          "key" : "Technical director",
          "doc_count" : 1
        }
      ]
    }
  }
}

(2).order

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"histogram_salary": {
			"histogram": {
				"field": "salary",
				"interval": 5000,
				"order": {
					"avg_age": "desc"
				}
			},
			"aggs": {
                "avg_age": {
                    "avg": {
                        "field": "age"
                    }
                }	
			}
		}
	}
}

{
  "took" : 23,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "histogram_salary" : {
      "buckets" : [
        {
          "key" : 50000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 35.0
          }
        },
        {
          "key" : 25000.0,
          "doc_count" : 2,
          "avg_age" : {
            "value" : 31.5
          }
        },
        {
          "key" : 30000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 31.0
          }
        },
        {
          "key" : 20000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 27.0
          }
        },
        {
          "key" : 15000.0,
          "doc_count" : 2,
          "avg_age" : {
            "value" : 24.5
          }
        },
        {
          "key" : 35000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        },
        {
          "key" : 40000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        },
        {
          "key" : 45000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        }
      ]
    }
  }
}

(3).更深层次的嵌套

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"histogram_salary": {
			"histogram": {
				"field": "salary",
				"interval": 5000,
				"order": {
					"age>avg_age": "desc"
				}
			},
			"aggs": {
				"age": {
					"filter": {
						"range": {
							"age": {
								"gte": 10
							}
						}
					},
					"aggs": {
						"avg_age": {
							"avg": {
								"field": "age"
							}
						}
					}
				}
			}
		}
	}
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "histogram_salary" : {
      "buckets" : [
        {
          "key" : 50000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 35.0
            }
          }
        },
        {
          "key" : 25000.0,
          "doc_count" : 2,
          "age" : {
            "doc_count" : 2,
            "avg_age" : {
              "value" : 31.5
            }
          }
        },
        {
          "key" : 30000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 31.0
            }
          }
        },
        {
          "key" : 20000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 27.0
            }
          }
        },
        {
          "key" : 15000.0,
          "doc_count" : 2,
          "age" : {
            "doc_count" : 2,
            "avg_age" : {
              "value" : 24.5
            }
          }
        },
        {
          "key" : 35000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        },
        {
          "key" : 40000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        },
        {
          "key" : 45000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        }
      ]
    }
  }
}
lwen.steven
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch之深入了解Search的运行机制
01-20
Search 执行的时候实际分两个步骤运作的 – Query 阶段 – Fetch 阶段 Query-Then-Fetch Query阶段 Fetch阶段 相关性算分问题 相关性算分在shard与shard间是相互独立的，也就意味着同一个term的IDF值在不同shard上...
高级elasticsearch-7.3应用
01-05
ES搭建和使用以及项目实战
Elasticsearch——查询结果排序
qq_37107851的博客
10-11 2855
允许我们在特定字段上添加一个或多个排序。每种分类也可以颠倒。排序是在每个字段级别定义的，具有特殊的字段名，用于_score按分数排序，以及_doc按索引顺序排序。 假设以下索引映射： PUT /my-index-000001 { "mappings": { "properties": { "post_date": { "type": "date" }, "user": { "type": "keyword" }, "name"
Elasticsearch：分布式计分
Elastic 中国社区官方博客
02-01 3187
Elasticsearch提供了一个最重要的功能就是相关性。它可以帮我们按照我们搜索的条件进行相关性计算。每个文档有一个叫做_score的分数。在默认没有sort的情况下，返回的文档时按照分数的大小从大到小进行排列的。这个分数的计算是按照如下的三个条件来进行计算的: 1) Term Frequency (TF)：给定术语在某个文档中的使用频率。在一个字段中该术语出现的越多，这个术语越重要。 ......
ElasticSearch 实战：ElasticSearch查询排序
最新发布
qq_33240556的博客
04-01 580
Elasticsearch 实战：Elasticsearch 查询排序在 Elasticsearch 中，查询排序（Sorting）功能允许您按照指定字段的值对查询结果进行升序或降序排列。这有助于用户更直观地查看与查询条件最相关的文档。
elasticsearch系列之排序
热门推荐
喝醉的清茶
09-19 3万+
ElasticSearch想关性排序在默认的情况下，结果集会按照相关性进行排序，也就是相关性越高，排名越靠前。本次我们说到的是字段值排序一级排序在常见的例子当中，我们会按照时间进行排序，从而将最新的文档排列靠前。
ElasticSearch(7)-排序
weixin_34367845的博客
12-08 619
引用自ElaticSearch权威指南 一、排序 相关性排序 默认情况下，结果集会按照相关性进行排序 -- 相关性越高，排名越靠前。 这一章我们会讲述相关性是什么以及它是如何计算的。 在此之前，我们先看一下sort参数的使用方法。 排序方式 为了使结果可以按照相关性进行排序，我们需要一个相关性的值。在ElasticSearch的查询结果中， 相关性分值会用_score字段来给出一个浮点型...
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
sort-script:elasticsearch排序脚本
04-07
排序脚本 SortScript是ElasticSearch的本机插件，用于实现自定义排名算法。
centos下root运行Elasticsearch异常问题解决
09-15
在Linux系统，特别是CentOS这样的发行版中，由于安全性的考虑，不推荐以root用户运行服务，包括Elasticsearch。Elasticsearch是一个高度分布式、实时的搜索与分析引擎，它对于系统的安全性有较高的要求。当尝试以...
elasticsearch java api条件查询、排序、分页
liaomingwu的专栏
01-22 2898
elasticsearch java api条件查询、排序、分页
Elasticsearch：使用处理器对数组进行排序
Elastic 中国社区官方博客
02-03 368
如果你想知道是否可以对数组进行排序，答案是肯定的。使用，我们可以按升序或降序对元素数组进行排序。对数组的元素进行升序或降序排序。同构数字数组将按数字排序，而字符串数组或字符串+数字的异构数组将按字典顺序排序。当字段不是数组时抛出错误。让我们运行两个示例：字符串数组和数值数组。
ElasticSearch系列 - SpringBoot整合ES：实现搜索结果排序 sort
你今天真好看呀
03-25 3105
具体来说，TF-IDF 算法会根据查询条件中每个词的词频（TF）和文档集合中包含该词的文档数的倒数（IDF）来计算每个查询条件与文档的匹配程度，然后将所有查询条件的匹配程度加权求和，得到文档的相关性得分。需要注意的是，相关性排序并不一定是最优的排序方式，因为它只考虑了查询条件与文档的匹配程度，而没有考虑其他因素，例如文档的时间戳、文档的重要性等。在某些情况下，其他排序方式可能更适合。需要注意的是，如果要按照非文本类型的字段进行排序，需要将字段的类型设置为相应的数据类型，否则可能会出现排序错误的情况。
SpringBoot整合ElasticSearch实现电商高性能搜索引擎
03-20
Elasticsearch 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。elasticSearch 的使用场景 1、在海量数据前提下，对数据进行检索。比如：京东，淘宝等电商项目课程目标： 1. 了解企业级搜索引擎2. 安装elasticsearch 课程目录： 01 课程介绍02 elasticsearch 简介03 elasticsearch 使用场景04 安装elasticsearch 之前先安装jdk05 安装elasticsearch06 测试elasticsearch是否安装成功 07 安装kibana08 elasticsearch 基本认识 以及添加索引和删除索引09 elasticsearch 添加查询数据10 elasticsearch 修改删除数据11 elasticsearch 有条件的查询12 分词子属性fuzzy查询13 elasticsearch 过滤使用14 elasticsearch 排序与分页15 elasticsearch 如何查询指定的字段16 elasticsearch 高亮显示17 elasticsearch 聚合18 elasticsearch mapping 概念19 elasticsearch 的中文词库20 elasticsearch 中文词库安装测试21 elasticsearch 中文词库的使用案例22 elasticsearch 自定义词库配置23 安装nginx 配置中文词库24 测试elasticsearch 自定义中文词库25 搭建项目父工程26 搭建项目bean-interface-common27 搭建search 的service web 项目28 测试项目是否能与elasticsearch联通29 创建数据库并搭建首页30 数据上传功能的实现类完成31 数据上传控制器完成32 dubbo 介绍以及安装zookeeper33 将数据从mysql 上传到elasticsearch 中34 elasticsearch查询功能分析35 编写业务需求的dsl 语句36 编写输入参数返回结果集的实体类37 实现类编写38 编写实现类中dsl 语句39 返回集结果转换40 结果测试41 测试通过输入查询条件并将数据显示到页面
ElasticSearch | 排序 | Doc Values | Fielddata
乌鲁木齐001号程序员
05-27 357
排序 默认情况下，ElasticSearch 会根据算分进行排序； 可以使用 sort API 指定排序的规则 排序 | sort API | 举几个栗子 根据单字段排序 使用了 sort API 之后，_score 的值就会变成 null； POST /kibana_sample_data_ecommerce/_search { "size": 5, "query": { ...
Elasticsearch搜索排名优化详细介绍
Java搜索工程技术栈
04-02 2714
目录 一、引言 二、优化ES Query DSL 1. 最初使用的multi_match 2. 使用bool 查询的filter 增加筛选 3. 使用match_phrase 提高搜索短语的权重 4. 使用boost 调整查询语句的权重 5. 使用function_score 增加更多的评分因素 6. 最终结果 三、优化相关性算法 四、优化的建议 五、使用_explain 做bad case 分析 六、结语 导语 |Elasticsearch（下文简称ES）是...
ElasticSearch排序
solejay
08-04 484
为了按照相关性来排序，需要将相关性表示为一个数值。在 Elasticsearch 中，相关性得分由一个浮点数进行表示，并在搜索结果中通过_score参数返回， 默认排序是_score降序。
ElasticSearch——自定义排序
世界中心的专栏
03-09 2万+
GET _search { "_source": { "include": ["title.Value","dataType","_score"] }, "query": { "bool": { "should": [ { "query_string": { "default_field": "t
Elasticsearch 7.3 java修改es索引数据
05-18
要修改 Elasticsearch 索引中的数据，可以使用 Elasticsearch 的 Java API。具体步骤如下： 1. 创建一个 Elasticsearch 客户端对象： ```java RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"))); ``` 2. 创建一个更新请求对象，并指定要更新的索引、类型和文档 ID： ```java UpdateRequest request = new UpdateRequest( "index_name", // 索引名 "doc_type", // 类型名 "document_id" // 文档 ID ); ``` 3. 指定要更新的文档内容： ```java Map<String, Object> jsonMap = new HashMap<>(); jsonMap.put("field_name", "new_value"); request.doc(jsonMap); ``` 4. 执行更新操作并获取响应结果： ```java UpdateResponse response = client.update(request, RequestOptions.DEFAULT); ``` 完整的 Java 代码示例： ```java RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"))); UpdateRequest request = new UpdateRequest( "index_name", "doc_type", "document_id" ); Map<String, Object> jsonMap = new HashMap<>(); jsonMap.put("field_name", "new_value"); request.doc(jsonMap); UpdateResponse response = client.update(request, RequestOptions.DEFAULT); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值