prometheus的remotewrite解析

特性

目的是为了向远端的存储写入数据。

为了提高写入效率,Prometheus在将采集到的samples写入远程存储之前,会先缓存在内存队列中,然后打包发送给远端存储。而这个内存队列的配置参数,对于Prometheus写入远程存储的效率影响较大,

prometheus配置了remote write的目标地址后,它会从WAL读取数据,然后把采样数据写入各分片的内存队列,最后发起向远程目标地址的请求。

WAL是每两小时压缩一次,如果远程写入的目标地址挂了超过两个小时,就会导致这段时间没被发送的数据丢失。如果远程写入的目标地址无响应时间较短(两小时以内),prometheus是会重试的,这种情况不会造成数据丢失。

当一个分片的队列被塞满时,promtheus将阻塞继续从WAL读取数据到任意分片。

在操作过程中,prometheus根据以下条件来持续计算要是用的最佳的分片数:

  • 摄入样本的速率(incoming sample rate)
  • 还未发送的样本数量(number of outstanding samples not sent)
  • 发送每个样本的时间(time taken to send each sample)

在官方给的高可用方案中作用如下:

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Prometheus 是一个开源的监控系统,它最初由 SoundCloud 开发,现在由 CNCF 维护。Prometheus 通过拉取(pull)的方式采集监控数据,具有可伸缩性和高度灵活性。下面是 Prometheus 的源码解析: 1. 数据存储 Prometheus 的数据存储采用了一种称为 TSDB(Time Series Database)的存储引擎,它是一种支持数据存储的可伸缩的时间序列数据库。TSDB 的核心是一个 WAL(Write Ahead Log)和一个内存缓存,它们用于存储和管理时间序列数据。当数据写入到 Prometheus 中时,它首先会被写入到 WAL 中,然后再被写入到内存缓存中。当内存缓存满了之后,数据会被写入到磁盘上的块文件中。Prometheus 会定期地将过期的数据从块文件中删除,以保证数据存储的可用性和性能。 2. 监控数据源 Prometheus 支持多种监控数据源,包括 HTTP、JMX、SNMP 等。任何应用服务想要接入 Prometheus,都需要提供 HTTP 接口(通常是 x.x.x.x/metrics 地址),并暴露 Prometheus 格式的监控数据。Prometheus Server 通过 HTTP 协议周期性抓取监控目标的监控数据、打时间戳、存储到本地。Prometheus 提供了 Client 库帮助开发人员在自己的应用中集成符合 Prometheus 格式标准的监控指标。 3. 查询语言 Prometheus 提供了一种名为 PromQL 的查询语言,它可以用于查询和聚合监控数据。PromQL 支持多种操作符和函数,可以用于计算、过滤、聚合和转换监控数据。PromQL 还支持向量选择器和标量选择器,用于选择和操作时间序列数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值