ELK合集(十一):Elasticsearch关键术语之排序 持续更新

最新推荐文章于 2023-06-01 10:36:11 发布
最新推荐文章于 2023-06-01 10:36:11 发布
阅读量553 收藏
点赞数
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40777515/article/details/105026465
版权
本文介绍了Elasticsearch中排序的本质和两种实现方式：doc_values（默认）和fielddata。doc_values利用磁盘空间提供排序和聚合功能，而fielddata在JVM堆内存中创建，适用于text字段排序，但可能导致内存溢出。了解这些关键术语有助于优化ES的性能和资源使用。
摘要由CSDN通过智能技术生成

Elasticsearch关键术语 系列博文 目的只用来了解概念 ; 其中 涉及到的配置和使用 是为了方便日后使用时查询的

排序

ES搜索结果的排序 默认是按照文档的_score相关性算分 算分高的文档优先展示 搜索时可以指定根据某字段进行排序 (类似 SQL的order by)

本质

  • 排序是针对原始内容进行的 倒排索引无法发挥作用
  • 需要用到正排索引 通过文档ID和字段快速得到字段原始内容

实现排序的两种方式

方式一 设置"doc_values":true 默认

本质

  • DocValues在索引时 和倒排索引一起创建

  • 通过序列化把数据结构持久化到磁盘 我们可以充分利用操作系统的内存 而不是 JVM 的 Heap

  • 当workingset远小于系统的可用内存 系统会自动将 DocValues保存在内存中 使得其读写十分高速

  • 不过 当其远大于可用内存时 操作系统会自动把DocValues写入磁盘

  • 很显然 这样性能会比在内存中差很多 但是它的大小就不再局限于服务器的内存了 如果是使用JVM的Heap来实现那么只能是因为OutOfMemory导致程序崩溃了

作用

  • text类型的字段不能排序

  • 其他类型的字段都可排序 聚合 脚本操作

  • 可避免大量JVM heap占用而导致内存溢出

  • 但 降低索引速度 占用额外

最低0.47元/天 解锁文章
Cheese海盐芝士
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
elk-docker:Elasticsearch，Logstash，Kibana（ELK）Docker映像
04-30
Elasticsearch，Logstash，Kibana（ELK）Docker映像 通过打包Elasticsearch，Logstash和Kibana（统称为ELK），此Docker映像提供了一个方便的集中式日志服务器和日志管理Web界面。 文献资料 有关如何使用此映像的...
go-elk-stack:Elasticsearch-Logstash-Kibana-Golang
05-18
:french_fries: 这个简单的项目演示了Elasticsearch-Logstash-Kibina（ELK）与Golang的集成 去栈 没有Web框架，使用本机运行 DEP的包管理brew install dep 杜松子酒进行实时重新加载， go get github....
企业日志分析ELK(Logstash+Elasticsearch+Kibana)
zhangyuebk的博客
05-21 263
文章目录前言一、ELK概述1、ELK日志分析系统 前言 在规模较大的企业场景中，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一、ELK概述 1、ELK日志分析系统 ...
【ELK】Elasticsearch入门05 --基础语法 综合条件查询 排序 分页
qq_36615278的博客
04-29 580
【ELK】Elasticsearch入门05 --基础语法 综合条件查询 排序 分页   综合条件查询 GET /test/_search { "_source": {"excludes":"sex"}, "query" : { "bool": { ## 条件：must，表示[]中条件都需要符合 ## 条件：should，表示[]中条件只需要符合一个即可查出 ## 条件：must_not，表示[]中条件一个都不符合即可查出 "must" :
ElasticSearch 查看索引中特定名称的索引，并按照名字排序
NNnn_double的博客
06-01 340
ElasticSearch 查看索引中特定名称的索引，并按照名字排序。
ELK（搜索与分析技术栈）
weixin_53455615的博客
12-07 1646
ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为ELK技术栈。Elasticsearch：Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎，使用Java语言编写。Kibana：Kibana是一个免费且开放
ELK快速搭建日志平台和分析结果权重排序
chibeiyan5943的博客
12-17 407
我们按官网的docker方式安装ELK： Elasticsearch docker pull docker.elastic.co/elasticsearch/elasticsearch:5.5.3 启动Elasticsearch容器(适合小内存的机器）： docker r...
ELK镜像：elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 下载
最新发布
05-15
ELK:elasticsearch:7.17.6+kibana:7.17.6+logstash:7.17.6 支持操作系统：centos7 中标麒麟、银河麒麟、通信UOS 均已经验证 安装方式，docker安装
elk-docker:Elasticsearch 的 Docker 配置 - logstash - kibana 堆栈
06-25
Elasticsearch、Logstash 和 Kibana 的 Docker 配置。 建造 为了构建图像： docker build -t elk:latest . 跑步 为了运行图像： docker run -d -p 5000:5601 --name elk -v /path/access-logs:/var/log/access ...
elk:elasticsearch+logstash+kibana
07-14
ELK（Elasticsearch, Logstash, Kibana）是一个流行的开源日志分析和可视化解决方案，广泛用于收集、解析、存储和展示各种日志数据。这个压缩包包含了ELK堆栈的主要组件，版本为7.6.1，适用于Linux x86_64架构。 **...
ELK日志排序混乱
luoqinglong的专栏
11-10 3617
1、现象 环境使用的是7.4,filebeat,kafka,logstash,es 排序字段是@timestamp，由于是filebeat批量收集提交的，所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序，有部分时间的日志在中间，如下图 2、分析 @timestamp字段是经过filebeat处理时添加的，可以通过修改filebeat配置文件，把收集后的日志输出到本地文件，可以看出来多了时间字段。 3、解决方案 这里采用logstash重写@timesta.
Elasticsearch(ES) 添加/更新映射
java_xxxx的博客
09-21 4202
原文地址：https://www.exception.site/elasticsearch/elasticsearch-add-mappings 通过 Elasticsearch API 可以向索引(Index) 添加文档类型(Type), 或者向文档类型(Type) 中添加/更新字段(Field)。 PUT http://127.0.0.1:9200/commodity { "mappings": { "_doc": { "properties": { "commodity_id":
ELK elasticsearch kibana 日志排序 之 日志二级排序
热门推荐
u011181610的博客
09-18 1万+
背景：之前搭建ELK时候经常听开发人员反馈说日志的数据和服务器的日志顺序不一致， 看日志给他们带来许多烦恼 问题分析：kibana向es(elasticsearch)发送请求的时候默认排序为@timestamp字段，然而@timestamp字段的精度是毫秒， 也就是说如果同一毫秒内输出多条日志则在kibana展示的日志就会出现和服务器日志不一致的问题。 解决方案：1 调整日志收集把时间精度调整...
Elasticsearch排序
Ghost Stories
03-29 2572
当你发送请求至elasticsearch,返回文档默认按文档得分降序排序，这是通常我们想要了，然而，有时候我们希望能改变这种排序方式
用ELK 实时处理搜索日志
千丈之松的专栏
01-27 6423
本来这块业务 是放到SolrCloud上去的 ， 然后 采用solr的facet统计查询， 具体代码参考之前写的文章：http://blog.csdn.net/hu948162999/article/details/50162643    最近遇到SolrCloud 遇到一些问题。。查询db时间过长，SolrCloud的长连接CloudSolrServer老timeout，索引的效率也不够满
ELK-Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮）
ITMAN009的博客
09-16 581
Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮） Elasticsearch相关概念 1、Elasticsearch面向文档、关系行数据库、和Elasticsearch对比 Elasticsearch的文件存...
elasticsearch 聚合+排序
HH_KELE的专栏
06-10 1416
聚合的两种排序方式 1. 按组内字段排序: 分组后按组内数据某个字段进行排序 2. 按聚合后指标排序: 分组聚合后按照聚合后的某个新指标字段进行排序 案例: 按组内字段排序 AggregationBuilder aggregation = AggregationBuilders .terms("agg").field("gender") .subAggregation( Aggreg...
深入理解 Elasticsearch 嵌套、聚合、排序
桃花惜春风
06-19 2559
原文地址：深入理解 Elasticsearch 嵌套、聚合、排序 由浅入深，一步步实现嵌套+聚合+排序的复杂的检索表达式，并附带 Java 代码示例。读者可以根据实际使用场景，合理组织开发检索表达式。本文的宗旨是让读者减少学习成本，少走弯路（会介绍一些坑）。 主要内容 嵌套字段介绍 nested 关键字与 field 关键字区别 如何查询嵌套字段 聚合介绍 嵌套字段聚合 聚合嵌套 聚合求和 ...
elasticsearch 聚合那点事，用子聚合的结果进行排序。
一杯派蒙的博客
12-02 1297
GET /my_index/blogpost/_search { "size" : 0, "query": { "bool": { "must": [ { "match": { "title": "relationships" }}, { "match": { "user.name": "John" }} ...
ELK架构：ElasticSearch+Logstash+Kibana的日志分析神器
ELK（ElasticSearch、Logstash、Kibana）是一套流行的开源日志管理和数据分析工具链，专为机器数据和实时日志处理而设计。这套组合在近年来迅速崭露头角，凭借其独特的优势赢得了开发者和企业的青睐。 1. ELK组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cheese海盐芝士

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值