skywalking segment索引占用elasticsearch大量磁盘空间

于 2024-06-21 09:32:26 发布
阅读量297 收藏 3
点赞数 8
文章标签： skywalking elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45112997/article/details/139849212
版权

现象：

skywalking segment索引占用elasticsearch大量磁盘空间
在这里插入图片描述

原因

recordDataTTL 是SkyWalking的一个配置项，用于设置记录数据的存活时间（TTL, Time To Live）。SkyWalking是一个开源的应用性能监控系统，用于监控分布式系统。recordDataTTL 主要影响SkyWalking存储的追踪数据和度量数据的保留时间。
skywalking当前配置为3天，recordDataTTL: ${SW_CORE_RECORD_DATA_TTL:3} # Unit is day
磁盘空间总共500G，3天占了300G，调小该值。

解决

修改配置config/application.yml 调整配置为2，并重启skywalking
recordDataTTL: ${SW_CORE_RECORD_DATA_TTL:2} # Unit is day
在这里插入图片描述

要加油呀
关注
  • 8
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Skywalking的存储配置与调优
smooth的博客
07-19 3万+
作为一款APM和全链路监控平台，Skywalking算是挺出色的。Skywalking是APM监控平台的后起之秀，大有超越其他开源APM监控平台的趋势。它通过探针自动收集所需的指标，并进行分布式追踪。通过这些调用链路以及指标，Skywalking APM会感知应用间关系和服务间关系，并进行相应的指标统计。 目前Skywalking支持h2、mysql、Elastic...
skywalking7 agent探针segment限制span个数源码分析
fernny_atobe的博客
04-07 1342
为了在有效的内存中获取较多的调用链，避免调用链丢失导致的故障原因定位不准确，所以segment限制span数量是不可避免的。本文主要描述span个数限制的配置以及从skywalking7 agent的源码层级上分析配置是如何生效的：
Skywalking数据持久化与自定义链路追踪
最新发布
qq_48959845的博客
05-07 562
Sky walking默认的追踪粒度只到服务级别，粒度不够小。如果一个请求只在当前服务中完成，且这个请求的过程调用该服务中很多个接口。他们是在同一个服务中，为了在追踪到这些同一个服务中的Service，就需要我们自定义追踪引入依赖</</</</编写trace接口@Autowired// 往追踪上下文中绑定key/value值log.info("【自定义追踪测试】存储标签信息：{}",s.orElse(null));traceServiceImpl类的实现@Override。
SkyWalking持久化ElasticSearch
程序员劝退师的博客
05-09 1453
前言 我们在学习SkyWalking刚开始的时候，SkyWalking数据都是默认保存在SkyWalking内部的H2数据库，那么也就意味着重启SkyWalking后数据就会丢失，SkyWalking目前支持ES、MySQL、ShardingSphere、TiDB、H2多种存储器，而我们目前采用ES，主要考虑的是SkyWalking开发团队自己的生产环境采用ES为主； ...
分布式日志链路追踪：skywalking + elasticsearch 部署实践（5.x）
qq_31728357的博客
09-17 1524
简介 　　SkyWalking创建与2015年，提供分布式追踪功能。从5.x开始，项目进化为一个完成功能的Application Performance Management系统。 他被用于追踪、监控和诊断分布式系统，特别是使用微服务架构，云原生或容积技术。提供以下主要功能： 分布式追踪和上下文传输 应用、实例、服务性能指标分析 根源分析 应用拓扑分析 应用和服务依赖分析 慢服务检测 性能优化 特性 多语言探针或类库 Java自动探针，追踪和监控程序时，不需要修改源码。 社区提供...
skywalking elasticsearch
qq_40750315的博客
04-02 2753
skywalking是一个分布式链路追踪系统，上一篇文章对比了一下skywalking与zipkin，并对skywalking做了一个简单的使用。 skywalking默认是基于H2数据库的，H2数据库是一个纯java实现的关系型数据库，它是一个开源的嵌入式数据库引擎。可以和应用程序打包一起发布，很方便。 在skywalking中h2数据库是基于内存的，所以一旦skywalking重启，那么之前保存的数据就全都没有了。而且如果数据过多的话，用默认的H2数据库性能也不是很好。skywalking可以支持mys
SkyWalking8.7源码解析（五）：链路基本知识、链路ID生成、TraceSegment、Span基本概念、Span完整模型、StackBasedTracingSpan
hxt的博客
05-15 4473
21、链路基本知识 上图是一个下单接口的链路，在链路中首先要理解的概念是Segment，Segment表示一个JVM进程内的所有操作，上图中有6个Segment。Gateway Segment是Mall Segment的parent，通过parent关系就可以把多个Segment按顺序拼起来组装成一个链路 一个Segment里可能发生多个操作，如上图Segment中操作1是查Redis，操作2是查MySQL，这就是两个Span，Span表示一个具体的操作。Span之间也是基于parent的关系构建起
elasticsearch-7.11.1与apache-skywalking-apm-es7-8.4.0安装包
04-29
2. **实时性**：Elasticsearch 可以在数据被索引后立即进行搜索，这是因为每个文档都被分配了一个全局唯一的 ID 和一个版本号，确保了数据的一致性。 3. **RESTful API**：7.11.1 版本仍然支持基于 HTTP 的 RESTful...
skywalking+es+kafka部署文档.docx
04-21
本文将详细介绍如何在环境中集成 SkyWalking 8.4.0、Kafka 和 Elasticsearch 7.12.0 的配置和搭建过程。 首先，确保你已下载了 Apache SkyWalking 的特定于 Elasticsearch 7 的版本，例如 `apache-skywalking-apm-...
skywalking+es7+nacos+ik+kibana
07-11
首先，SkyWalking 收集应用的监控数据，然后将这些数据发送到 Elasticsearch 进行存储和索引。通过 IK Analyzer，Elasticsearch 能够更好地处理中文日志数据。Nacos 作为服务注册中心，确保服务之间的通信。最后，...
最新版 apache-skywalking-apm-es7-8.2.0.tar.gz
11-13
6. **Elasticsearch 集成：** 与 Elasticsearch 7.x 的集成意味着 SkyWalking 可以利用其强大的搜索和分析能力，存储和检索大量监控数据。 在 "apache-skywalking-apm-bin-es7" 压缩包中，你会找到以下组件： 1. *...
skywalking连接elasticsearch6.x时x-pack授权修改
02-28
压缩包中包含library-client-6.0.0-GA.jar、storage-elasticsearch-plugin-...修改内容：增加skywalking连接elasticsearch6.x时x-pack的授权支持，在配置文件中增加了userName和password的配置，详情请下载压缩包查看。
搭建skywalking日志监控平台（集成elasticsearch做数据持久化）
WannaRunning的博客
07-07 3166
安装elasticsearch 下载elasticsearch安装包 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.7.tar.gz 解压elasticsearch tar -zxvf elasticsearch-5.6.7.tar.gz 编辑limits.conf文件，在末尾添加如下数据 vi /etc/security/limits.conf 下面的数据表示为fkk这个用户创建对应...
2021-09-27 skywalking 概念
问道至简
09-28 351
Skywalking 概念 一个请求一个 Trace ， 一个Trace 由多个 Segment 构成，一个 Segment 是由多个 Span 构成。 概念结构 - Trace 请求，追踪信息 - Segment 单个线程，追踪信息 - Span 执行片段，追踪信息 Trace 与请求一一对应 ， 唯一标识 TraceID Segment 全称 TraceSegment ， 线程追踪信息 ， 唯一标识 TraceSegmentID。 属性 TraceSegmentId
Windows Skywalking+Elasticsearch 部署
我要的光荣哪怕只有一秒
08-01 1009
使用环境 .net core 3.1 Skywalking 6.5.0 官方下载地址：：http://skywalking.apache.org/downloads/ 链接：https://pan.baidu.com/s/1R5C4FPlfx-yB4_cmvJoEIQ 提取码：pqno elasticsearch 6.4.0 官方下载地址：https://www.elastic.co/cn/downloads/elasticsearch 链接：https://pan.baidu.com/s/18
搭建 SkyWalking 服务（For ElasticSearch 7）
hekliu的博客
03-19 2357
随着微服务架构的流行，一些微服务架构下的问题也会越来越突出，比如一个请求会涉及多个服务，而服务本身可能也会依赖其他服务，整个请求路径就构成了一个网状的调用链，而在整个调用链中一旦某个节点发生异常，整个调用链的稳定性就会受到影响，所以会深深的感受到 “银弹” 这个词是不存在的，每种架构都有其优缺点 。 ...
来源不明的杂题一
蒟蒻之最蒻的我
09-29 231
已知集合S={1,2,3…n}，A为S的子集，A={a1，a2，a3…ax}，a1，a2…ax∈n，a1>a2>a3>…ax，x<=n，定义交替和f，f(A)=a1-a2+a3-a4…，求f的总和。 输入数据： 共一行一个n，1<=n<=1e5 输出数据： 共一行一个数，表示f的总和 数据范围： 30%的数据n<=21 50%的数据n<=52 100%的数据n<=1e5 题解： 30%： 把所有情况枚举出来，然后按题意暴力 50%： 显然答案就是2^(n
安装部署skywalking8.2
W1124824402的博客
03-29 2109
部署skywalking8.2版本适配es7.8版本详细教程，部署简单便捷。
skywalking的segment索引中的data_binary内容怎么解析为可读的内容
07-10
要解析SkyWalking的`segment`索引中的`data_binary`字段内容为可读的内容，你需要进行一些额外的步骤。这个字段存储了序列化的二进制数据，需要进行反序列化和解码才能获取可读的信息。 以下是一种解析`data_binary`字段内容的方法： 1. 使用SkyWalking提供的工具类`org.apache.skywalking.apm.network.trace.component.ComponentsDefine`来获取组件定义，这将帮助你确定数据中使用的组件类型。 2. 通过反序列化二进制数据，将其转换为可读的格式。你可以使用SkyWalking提供的Java API来处理这些数据。以下是一个示例代码片段： ```java import org.apache.skywalking.apm.network.common.KeyStringValuePair; import org.apache.skywalking.apm.network.language.agent.v3.SegmentObject; import org.apache.skywalking.apm.network.trace.component.ComponentsDefine; import org.apache.skywalking.apm.network.trace.component.OfficialComponent; // 假设dataBinary是从Elasticsearch中获取的data_binary字段内容 byte[] dataBinary = ...; SegmentObject segmentObject = SegmentObject.parseFrom(dataBinary); // 获取组件类型 int componentId = segmentObject.getSpanIdList().get(0).getComponentId(); OfficialComponent component = ComponentsDefine.getInstance().getComponent(componentId); // 解析和处理segmentObject中的数据 // ... // 打印可读的信息 System.out.println("Component: " + component.getName()); System.out.println("Trace ID: " + segmentObject.getTraceId()); // ... ``` 请注意，以上代码片段仅提供了一个简单的示例，用于说明如何解析`data_binary`字段内容。具体的解析过程可能因你的业务场景和数据结构而有所不同。你可以根据自己的需求进行进一步处理和解析。 最后，需要注意的是，SkyWalking的`segment`索引中的`data_binary`字段包含了非常详细和复杂的跟踪数据。要完全理解和解析这些数据，可能需要深入了解SkyWalking的数据结构和协议定义。你可以参考SkyWalking的官方文档或者源代码来获取更多信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值