7.3 ElasticSearch运行机制之排序

最新推荐文章于 2024-04-01 10:10:50 发布
最新推荐文章于 2024-04-01 10:10:50 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： 从头开始学ElasticSearch 文章标签： elasticsearch
未经博主同意，禁止转载。
本文链接：https://blog.csdn.net/Jgx1214/article/details/120124140
版权

1.简介
elasticsearch默认采用相关性算分排序，用户可以通过设定sort参数自行设定排序规则。

2.query
查询job字段为“Java engineer”的文档，然后按照出生日期为第一排序字段、相关性得分为第二排序字段、文档id为第三排序字段进行降序排序。

POST /employee/_search

{
  "query": {
    "match": {
      "job": "Java engineer"
    }
  },
  "sort": [
    {
      "birthday": "desc"
    },
    {
      "_score": "desc"
    },
    {
      "_doc": "desc"
    }
  ]
}
  • _score:指相关性得分
  • _doc:指文档内部id，和索引的顺序相关(分片内唯一，不同分片内可能相同)
{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "x4l1hnsBEsHOdz1YbMo-",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "Jason Tatum",
          "job" : "Java engineer",
          "age" : 24,
          "salary" : 15000.0,
          "birthday" : "1997-08-02"
        },
        "sort" : [
          870480000000,
          0.2876821,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wol1hnsBEsHOdz1YHsp3",
        "_score" : 0.6931472,
        "_source" : {
          "name" : "Stephen Curry",
          "job" : "Java engineer",
          "age" : 27,
          "salary" : 20000.0,
          "birthday" : "1995-08-06"
        },
        "sort" : [
          807667200000,
          0.6931472,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "wYl0hnsBEsHOdz1Y4cqT",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "James Harden",
          "job" : "Java engineer",
          "age" : 31,
          "salary" : 30000.0,
          "birthday" : "1991-01-01"
        },
        "sort" : [
          662688000000,
          0.47000363,
          0
        ]
      },
      {
        "_index" : "employee",
        "_type" : "_doc",
        "_id" : "xol1hnsBEsHOdz1YXcqt",
        "_score" : 0.47000363,
        "_source" : {
          "name" : "Chirs Paul",
          "job" : "Java engineer",
          "age" : 33,
          "salary" : 29000.0,
          "birthday" : "1988-12-02"
        },
        "sort" : [
          597024000000,
          0.47000363,
          2
        ]
      }
    ]
  }
}

3.字符串排序
(1).简介
字符串排序比较特殊，因为elasticsearch有text和keyword两种类型，针对text类型排序，会报如下错误。

POST /employee/_search

{
	"sort": [{
		"name": "desc"
	}]
}

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "employee",
        "node": "0JDoSBAVQr29ZB1mytSQgw",
        "reason": {
          "type": "illegal_argument_exception",
          "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
        }
      }
    ],
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead.",
      "caused_by": {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [name] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    }
  },
  "status": 400
}

默认情况下，text类型字段上禁用fielddata，如果要达到预期排序效果，可以在name字段上设置fielddata=true，以便通过取消倒排索引将fielddata加载到内存中。请注意，这可能会占用大量内存，因此建议将name字段设置为keyword。

(2).解决方案
排序的过程实质上是对字段原始内容排序的过程，这个过程中倒排索引无法发挥作用，需要用到正排索引，也就是通过文档id和字段可以快速得到字段原始内容。elasticsearch提供了两种实现方式，一种是fielddata默认禁用，一种是doc_values默认启用(除了text类型)，fielddata和doc_values的对比如下。

对比fielddatadoc_values
创建时机搜索时即时创建索引时创建，与倒排索引创建时机一致
创建位置jvm heap磁盘
优点不会占用额外的磁盘资源不会占用heap内存
缺点文档过多时，即时创建会花费过多时间，占用过多heap内存减慢索引的速度，占用额外的磁盘资源

3.fielddata
(1).简介
fielddata默认是关闭的，开启后，字符串是按照分词后的term排序，往往结果很难符合预期。其次，一般是在对分词做聚合分析的时候开启。注意fielddata只针对text类型有效。

(2).开启

PUT /people/_mapping

{
  "properties": {
    "name": {
      "type": "text",
      "fielddata": true
    },
    "country": {
      "type": "keyword"
    },
    "age": {
      "type": "integer"
    },
    "birthday": {
      "type": "birthday",
      "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
    },
    "description": {
      "type": "text"
    }
  }
}

4.doc_values
(1).简介
doc_values默认是启用的，如果在创建索引时明确知道该字段不参与排序和聚合分析时就可以将其关闭以加快索引速度，节省磁盘空间。如果后面需要再开启doc_values，需要做reindex操作。

(2).开启

PUT /people/_mapping

{
  "properties": {
    "name": {
      "type": "text",
      "fielddata": true
    },
    "country": {
      "type": "keyword"
    },
    "age": {
      "type": "integer",
      "doc_values": false
    },
    "birthday": {
      "type": "birthday",
      "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
    },
    "description": {
      "type": "text"
    }
  }
}

5.聚合分析中的排序
(1).简介
可以使用自带的关键字进行排序，如_count表示对文档数进行排序，_key表示按照field值进行排序，其基本语法如下。

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"aggs_name": {
			"terms": {
				"field": "job",
				"size": 10,
				"order": [{
						"_count": "desc"
					},
					{
						"_key": "desc"
					}
				]
			}
		}
	}
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "aggs_name" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "Java engineer",
          "doc_count" : 4
        },
        {
          "key" : "Vue engineer",
          "doc_count" : 2
        },
        {
          "key" : "Technical director",
          "doc_count" : 1
        }
      ]
    }
  }
}

(2).order

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"histogram_salary": {
			"histogram": {
				"field": "salary",
				"interval": 5000,
				"order": {
					"avg_age": "desc"
				}
			},
			"aggs": {
                "avg_age": {
                    "avg": {
                        "field": "age"
                    }
                }	
			}
		}
	}
}

{
  "took" : 23,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "histogram_salary" : {
      "buckets" : [
        {
          "key" : 50000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 35.0
          }
        },
        {
          "key" : 25000.0,
          "doc_count" : 2,
          "avg_age" : {
            "value" : 31.5
          }
        },
        {
          "key" : 30000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 31.0
          }
        },
        {
          "key" : 20000.0,
          "doc_count" : 1,
          "avg_age" : {
            "value" : 27.0
          }
        },
        {
          "key" : 15000.0,
          "doc_count" : 2,
          "avg_age" : {
            "value" : 24.5
          }
        },
        {
          "key" : 35000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        },
        {
          "key" : 40000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        },
        {
          "key" : 45000.0,
          "doc_count" : 0,
          "avg_age" : {
            "value" : null
          }
        }
      ]
    }
  }
}

(3).更深层次的嵌套

PUT /people/_mapping

{
	"size": 0,
	"aggs": {
		"histogram_salary": {
			"histogram": {
				"field": "salary",
				"interval": 5000,
				"order": {
					"age>avg_age": "desc"
				}
			},
			"aggs": {
				"age": {
					"filter": {
						"range": {
							"age": {
								"gte": 10
							}
						}
					},
					"aggs": {
						"avg_age": {
							"avg": {
								"field": "age"
							}
						}
					}
				}
			}
		}
	}
}

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "histogram_salary" : {
      "buckets" : [
        {
          "key" : 50000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 35.0
            }
          }
        },
        {
          "key" : 25000.0,
          "doc_count" : 2,
          "age" : {
            "doc_count" : 2,
            "avg_age" : {
              "value" : 31.5
            }
          }
        },
        {
          "key" : 30000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 31.0
            }
          }
        },
        {
          "key" : 20000.0,
          "doc_count" : 1,
          "age" : {
            "doc_count" : 1,
            "avg_age" : {
              "value" : 27.0
            }
          }
        },
        {
          "key" : 15000.0,
          "doc_count" : 2,
          "age" : {
            "doc_count" : 2,
            "avg_age" : {
              "value" : 24.5
            }
          }
        },
        {
          "key" : 35000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        },
        {
          "key" : 40000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        },
        {
          "key" : 45000.0,
          "doc_count" : 0,
          "age" : {
            "doc_count" : 0,
            "avg_age" : {
              "value" : null
            }
          }
        }
      ]
    }
  }
}
lwen.steven
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch使用篇 - 查询排序
The Secret
02-09 2784
本文介绍Elasticsearch的查询排序。
Elasticsearch中如何进行排序
u012618599的专栏
03-21 6414
背景 最近去兄弟部门的新自定义查询项目组搬砖，项目使用Elasticsearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序，以为是一个比较简单的需求，其实实现起来还是比较复杂的。这里进行一个总结，加深一下记忆。 前置知识 Elasticsearch是什么？ Elasticsearch 简称ES，是一个全文搜索引擎，可以实现类似百度搜索的功能。但她不仅仅能进行全文检索，还可以实现PB级数据的近实时分析和精确查找，还可以作GIS数据库，进行AI机器学习，功能非常强大。
ElasticSearch之排序使用-ES常用排序方法
热门推荐
tiger@cn的博客
07-29 10万+
库
Elasticsearch查询——Sort（查询排序）
大风的博客
12-26 3万+
Sort 查询排序 测试索引 Elasticsearch针对普通数据、数组、嵌套对象、地理位置都提供了排序功能，为了测试其排序方式我们需要可以能够足够数据类型的索引。所以创建了下面一个索引以及其映射 PUT offline_sales PUT offline_sales/_mapping { "properties": { "order_id": { ...
Elasticsearch：对搜索结果排序 - Sort
Elastic 中国社区官方博客
06-29 6405
​ 我们知道在默认的情况下，搜索的结果是按照相关性来进行排序的。分数最高的排在前面，而分数低的向后依次排序。在绝大多数的情况下，这种排序是非常有效的，而且也适用我们的很多用例。即便针对分数，我们也可以对搜索的结果进行定制。关于这个分数是如何及算出来的，你可以参考我之前的文章 “Elasticsearch：使用 Elasticsearch 提高网站搜索查询的相关性”。我们也可以使用一下方法来定制我们的分数。你可以阅读如下的文章： ​.........
Elasticsearch搜索与排序经验小记
葵续浅笑的博客
06-18 3993
这篇文章更多的是实践经验而非es原理解析，自己经验小记下来，抛砖引玉，一得之见。
Elasticsearch之深入了解Search的运行机制
01-20
在深入探讨Elasticsearch的搜索运行机制之前，我们先理解一下Elasticsearch的基本概念。Elasticsearch是一个分布式、开源的全文搜索引擎，它基于Lucene构建，提供了实时数据分析和搜索功能。其核心特性包括高可用性...
sort-script:elasticsearch排序脚本
04-07
在Elasticsearch中，排序是数据检索的重要环节，它决定了搜索结果按照怎样的顺序呈现给用户。"sort-script:elasticsearch排序脚本"这个主题聚焦于如何通过自定义脚本来扩展Elasticsearch的排序功能。SortScript是一...
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
高级elasticsearch-7.3应用
01-05
ES搭建和使用以及项目实战
centos下root运行Elasticsearch异常问题解决
09-15
在Linux系统，特别是CentOS这样的发行版中，由于安全性的考虑，不推荐以root用户运行服务，包括Elasticsearch。Elasticsearch是一个高度分布式、实时的搜索与分析引擎，它对于系统的安全性有较高的要求。当尝试以...
Elasticsearch(039)：es中搜索之排序
瘦子没有夏天
02-22 6962
一、概述 默认情况下，结果集会按照相关性进行排序 – 相关性越高，排名越靠前。为了使结果可以按照相关性进行排序，我们需要一个相关性的值。在ElasticSearch的查询结果中， 相关性分值会用_score字段来给出一个浮点型的数值，所以默认情况下，结果集以_score进行倒序排列. 二、Es中排序使用 2.1 简单排序 例如下面的按照创建时间的倒序排序。 GET example/docs/_search { "query": { "match_all": {} }, "sort": [
ElasticSearch中如何进行排序
wangzhen3798的博客
10-31 4万+
ElasticSearch中如何进行排序 背景 最近去兄弟部门的新自定义查询项目组搬砖，项目使用ElasticSearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序，以为是一个比较简单的需求，其实实现起来还是比较复杂的。这里进行一个总结，加深一下记忆。 前置知识 ElasticSearch是什么？ ElasticSearch 简称ES，是一个全文搜索引擎，可以实现类似百度...
elasticsearch实现简单的脚本排序(script sort)
huan的学习记录
01-13 3473
我有一堆学生数据，其中`湖北省`的学生需要排在所有数据的最前面。`其余省`正序排序，对于`同一个省`的数据，按照`年龄`倒序排序。
ElasticSearch 实战：ElasticSearch查询排序
最新发布
qq_33240556的博客
04-01 628
Elasticsearch 实战：Elasticsearch 查询排序在 Elasticsearch 中，查询排序（Sorting）功能允许您按照指定字段的值对查询结果进行升序或降序排列。这有助于用户更直观地查看与查询条件最相关的文档。
微服务分布式搜索引擎 ElasticSearch 搜索结果处理 排序、分页与高亮
wanghuichen的博客
05-04 3249
Elastic Search 操作 搜索结果处理 排序 分页与高亮
Elasticsearch——查询结果排序
qq_37107851的博客
10-11 2882
允许我们在特定字段上添加一个或多个排序。每种分类也可以颠倒。排序是在每个字段级别定义的，具有特殊的字段名，用于_score按分数排序，以及_doc按索引顺序排序。 假设以下索引映射： PUT /my-index-000001 { "mappings": { "properties": { "post_date": { "type": "date" }, "user": { "type": "keyword" }, "name"
Elasticsearch：如何使用 Elasticsearch 进行排序
Elastic 中国社区官方博客
01-03 1781
虽然你在唱这首歌时可能会想象圣诞老人，但欧洲民间传说，尤其是阿尔卑斯地区的民间传说，有两个传奇人物圣尼古拉斯和坎普斯。象征着慷慨和善良的圣尼古拉斯，在 12 月 6 日 为乖巧的孩子们带来礼物和欢乐！相比之下，坎普斯是一种有角且具有威胁性的生物，它可以在前一天晚上对行为不端的孩子发出警告。他们共同创造了独特而持久的传统，鼓励节日期间的慷慨和良好行为。当然，他们正在使用 Elasticsearch 来追踪行为不端和行为良好的孩子。但他们如何确定访问的优先顺序呢？
Elasticsearch 7.3 java修改es索引数据
05-18
要修改 Elasticsearch 索引中的数据，可以使用 Elasticsearch 的 Java API。具体步骤如下： 1. 创建一个 Elasticsearch 客户端对象： ```java RestHighLevelClient client = new RestHighLevelClient( RestClient....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值