skywalking segment索引占用elasticsearch大量磁盘空间

于 2024-06-21 09:32:26 发布
阅读量338 收藏 3
点赞数 8
文章标签： skywalking elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45112997/article/details/139849212
版权

现象：

skywalking segment索引占用elasticsearch大量磁盘空间
在这里插入图片描述

原因

recordDataTTL 是SkyWalking的一个配置项，用于设置记录数据的存活时间（TTL, Time To Live）。SkyWalking是一个开源的应用性能监控系统，用于监控分布式系统。recordDataTTL 主要影响SkyWalking存储的追踪数据和度量数据的保留时间。
skywalking当前配置为3天，recordDataTTL: ${SW_CORE_RECORD_DATA_TTL:3} # Unit is day
磁盘空间总共500G，3天占了300G，调小该值。

解决

修改配置config/application.yml 调整配置为2，并重启skywalking
recordDataTTL: ${SW_CORE_RECORD_DATA_TTL:2} # Unit is day
在这里插入图片描述

要加油呀
关注
  • 8
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elasticsearch-7.11.1与apache-skywalking-apm-es7-8.4.0安装包
04-29
2. **实时性**：Elasticsearch 可以在数据被索引后立即进行搜索，这是因为每个文档都被分配了一个全局唯一的 ID 和一个版本号，确保了数据的一致性。 3. **RESTful API**：7.11.1 版本仍然支持基于 HTTP 的 RESTful...
安装部署skywalking8.2
W1124824402的博客
03-29 2150
部署skywalking8.2版本适配es7.8版本详细教程，部署简单便捷。
微服务链路追踪组件Skywalking实战 & 持久化配置 & 高可用部署
沮丧的南瓜
12-26 3117
文章目录背景：微服务中存在的问题调用链产品选型探针性能对比一、skywalking是什么谁在使用Skywalking1.1 Skywalking主要功能特性1.2 Skywalking整体架构1.3 SkyWalking 环境搭建部署1.3.1 下载 SkyWalking1.3.2 搭建SkyWalking OAP 服务1.4 SkyWalking中三个概念二、SkyWalking快速开始2.1 SkyWalking Agent跟踪微服务2.1.1 通过jar包方式接入2.1.2 在IDEA中使用Skywa
Skywalking配置文件详解
最新发布
m0_58000616的博客
05-24 1860
SkyWalking的配置文件详解,中英文对照
来源不明的杂题一
蒟蒻之最蒻的我
09-29 233
已知集合S={1,2,3…n}，A为S的子集，A={a1，a2，a3…ax}，a1，a2…ax∈n，a1>a2>a3>…ax，x<=n，定义交替和f，f(A)=a1-a2+a3-a4…，求f的总和。 输入数据： 共一行一个n，1<=n<=1e5 输出数据： 共一行一个数，表示f的总和 数据范围： 30%的数据n<=21 50%的数据n<=52 100%的数据n<=1e5 题解： 30%： 把所有情况枚举出来，然后按题意暴力 50%： 显然答案就是2^(n
2021-09-27 skywalking 概念
问道至简
09-28 351
Skywalking 概念 一个请求一个 Trace ， 一个Trace 由多个 Segment 构成，一个 Segment 是由多个 Span 构成。 概念结构 - Trace 请求，追踪信息 - Segment 单个线程，追踪信息 - Span 执行片段，追踪信息 Trace 与请求一一对应 ， 唯一标识 TraceID Segment 全称 TraceSegment ， 线程追踪信息 ， 唯一标识 TraceSegmentID。 属性 TraceSegmentId
SkyWalking--官网/配置/指南
热门推荐
IT利刃出鞘的博客
09-29 1万+
Skywalking是由国内开源爱好者吴晟（原OneAPM工程师，目前在华为）开源并提交到Apache孵化器的产品，它同时吸收了Zipkin/Pinpoint/CAT的设计思路。特点是：支持多种插件，UI功能较强，支持非侵入式埋点。目前使用厂商最多，版本更新较快。 数据存储支持：Elasticsearch、MySQL、H2、TiDB。默认是H2，而且是存到内存。项目中一般将其存到ES。
skywalking链路追踪配置优化减少数据库存储
fengchao2016的博客
12-07 3298
使用skywalking链路追踪默认配置后，发现线上db存储消耗特别严重，需要优化配置减少存储量。优化方向：进入apache-skywalking-apm-bin/config目录，编辑application.yml，找到如下参数，修改为下面指定的值：定时清理过期数据的间隔时间，默认5分钟，可以不改 明细数据存储有效时间，应用要求至少2天 度量数据存储有效时间，应用要求至少2天 设置完成后，需要重启skywalking服务进入skywalking-agent/config目录，编辑所有的agen
skywalking7 agent探针segment限制span个数源码分析
fernny_atobe的博客
04-07 1352
为了在有效的内存中获取较多的调用链，避免调用链丢失导致的故障原因定位不准确，所以segment限制span数量是不可避免的。本文主要描述span个数限制的配置以及从skywalking7 agent的源码层级上分析配置是如何生效的：
skywalking+es+kafka部署文档.docx
04-21
本文将详细介绍如何在环境中集成 SkyWalking 8.4.0、Kafka 和 Elasticsearch 7.12.0 的配置和搭建过程。 首先，确保你已下载了 Apache SkyWalking 的特定于 Elasticsearch 7 的版本，例如 `apache-skywalking-apm-...
skywalking+es7+nacos+ik+kibana
07-11
首先，SkyWalking 收集应用的监控数据，然后将这些数据发送到 Elasticsearch 进行存储和索引。通过 IK Analyzer，Elasticsearch 能够更好地处理中文日志数据。Nacos 作为服务注册中心，确保服务之间的通信。最后，...
最新版 apache-skywalking-apm-es7-8.2.0.tar.gz
11-13
6. **Elasticsearch 集成：** 与 Elasticsearch 7.x 的集成意味着 SkyWalking 可以利用其强大的搜索和分析能力，存储和检索大量监控数据。 在 "apache-skywalking-apm-bin-es7" 压缩包中，你会找到以下组件： 1. *...
apache-skywalking-apm-es7-8.1.0
08-12
- 设置Elasticsearch连接参数，确保SkyWalking能够正确地将数据写入ES集群。 - 启动SkyWalking UI，通过Web界面查看监控数据和报警设置。 4. **监控功能**： - **服务拓扑图**：可视化服务之间的依赖关系，便于...
skywalking7 agent 关于segment限制span配置的分析
fernny_atobe的博客
04-07 3140
​ 在skywalking中，可以对每个segment的span个数进行限制，默认是限制300个span，在实际生产中若是自研的探针，span采集的数据比较多，就会导致单个span比较大，从而导致segment数据量大，最终缓存的datacarrier的内存也要更大。为了在有效的内存中获取较多的调用链，避免调用链丢失导致的故障原因定位不准确，所以span数量限制是不可避免的。本文主要描述span个数限制的配置以及如何生效的逻辑。
Skywalking 存储数据定时清理任务失效原因查找与解决方案_2021-04-26
stomach的专栏
04-26 4727
Skywalking 存储数据定时清理任务失效现象 现网环境deploy Skywalking 后台oap server，采用elasticsearch 6为存储，现象为长达两个星期的数据 始终保存在ES中，并没有按照预想的根据配置文件中默认的recordDataTTL和metricsDataTTL设置的3天 和7天的有效期来进行清理。 - - recordDataTTL The lifecycle of record data. Record data includes trac
怎么停止skywalking_如何设置 SkyWalking 中 Trace 记录的保留时间（过期时间）？
weixin_39855944的博客
12-20 3915
之前配置 SkyWalking 时没有注意，导致请求的详细信息在记录不久之后(2个小时不到)就查不到了。查到在官方文档 [TTL](https://github.com/apache/skywalking/blob/master/docs/en/setup/backend/ttl.md) 中的如下描述：---## TTLIn SkyWalking, there are two types of o...
分布式场景实战第四节 微服务注册、日志、治理方案
fegus的博客
05-14 922
09 注册发现：如何对后台服务进行高效管理？ 08 讲我们主要讲了秒杀架构，因那个课时使用的很多知识都是基于前面课时的内容，所以讲得比较简单些。 从 09 讲开始，我们正式进入微服务内容模块的学习。在这个模块中，我仍然从最基础的场景入手，然后再逐步展开说明，帮助大家快速掌握微服务的一些组件的实现原理，最终理解微服务架构的本质。 业务场景（架构经历八） 我们依旧先来看个实际的业务场景。 当时，我们公司已经拥有了 50 多个服务，并且很多服务之间都有调用关系，而这些服务是使用各种语言编写的，比如 Java、G
Skywalking 性能监控安装及使用
奋斗的小鸟专栏
12-14 9618
2.Skywalking 性能监控 官网： http://skywalking.apache.org/downloads/ 下载地址： https://archive.apache.org/dist/skywalking/ 官方使用文档： https://skywalking.apache.org/docs/ https://github.com/apache/skywalking/tree/v8.1.0/docs https://github.com/apache/skywalking/blob/5.x/
skywalking的segment索引中的data_binary内容怎么解析为可读的内容
07-10
要解析SkyWalking的`segment`索引中的`data_binary`字段内容为可读的内容，你需要进行一些额外的步骤。这个字段存储了序列化的二进制数据，需要进行反序列化和解码才能获取可读的信息。 以下是一种解析`data_binary...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值