用动态分片解决pushgateway的HA问题

最新推荐文章于 2023-10-16 09:04:53 发布
置顶 最新推荐文章于 2023-10-16 09:04:53 发布
阅读量433 收藏
点赞数
分类专栏： 一致性哈希 监控系统 golang 文章标签： 运维 consul golang 监控类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26193209/article/details/106672165
版权
监控系统 同时被 3 个专栏收录
15 篇文章 3 订阅 ¥29.90 ¥99.00
订阅专栏
golang
17 篇文章 0 订阅
订阅专栏
一致性哈希
0 篇文章 0 订阅
订阅专栏

pgw是什么

项目介绍

pgw打点特点

  • 没有使用grouping对应的接口uri为
http://pushgateway_addr/metrics/job/<JOB_NAME>
  • 使用grouping对应的接口uri为
http://pushgateway_addr/metrics/job/<JOB_NAME>/<LABEL_NAME>/<LABEL_VALUE>
  • put/post方法区别在于 put只替换metrics和job相同的 post替换label全部相同的

pgw单点问题

如果简单把pgw挂在lb后面的问题

  • lb后面rr轮询:如果不加控制的让push数据随机打到多个pushgateway实例上,prometheus无差别scrape会导致数据错乱,表现如下
    在这里插入图片描述
了解本专栏 订阅专栏 解锁全文
ning1875
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Python库 | pushgateway-0.1.1-py3-none-any.whl
05-09
资源分类：Python库 所属语言：Python 资源全名：pushgateway-0.1.1-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
【云原生 | Kubernetes 系列】---altermanager消息配置和pushgateway
Q先生
09-07 1146
altermanager消息配置和pushgateway
干货速看！同行盆友来稿：一文带你搭建K8S高可用集群，以及在上面搭建Prometheus和Grafana。
ttropsstack的博客
07-06 2001
kubeadm工具快速部署k8s集群实现故障自动发现、转移及修复，集群中部署prometheus+grafan可实现自动收集集群的各项新性能指标数据，可视化界面提升客户对各项性能指标的直观感知，实现高效快速故障排查及解决。...
Prometheus+PushGateway+Python实现服务监控
weixin_43914798的博客
12-14 5592
背景： ​ 目前prometheus监控组件主要是通过其他组件提供的metrics接口来获取组件的指标监控项，然后设定相关规则（报警阈值），最后通过alertmanager将达到阈值的指标发送给相关运维人员（可以发送到微信，钉钉，邮件等）。 ​ 那么，如果公司想通过prometheus监控自己开发的应用服务，并且该服务并没有提供metrics接口，就可以通过pushGateway的方式，将自定义的指标数据推送到网关，然后prometheus会定期从gateway拉取指标数据，从而达到目的。本
K8S-12--prometheus进阶(Alertmanager/pushgateway/联邦机制/存储系统)
weixin_44515412的博客
04-07 1138
作业： 1.daemonset 运行prometheus server、cadvisor和exporter 2.prometheus 服务发现基础及relabel基础 3.kubernetes_sd_config 服务发现 4.prometheus static、consul、file及dns服务发现 5.prometheus kube-state-metrics及tomcat监控 6.prometheus 监控案例redis、mysql、haproxy、nginx 7.prometheus 联邦集群 .
prometheus HA高可用 m3db集群远程存储 openstack虚拟机监控
u014706515的博客
10-05 3578
简介 本文介绍了基于prometheus+keepalived+haproxy+m3db集群实现的监控高可用方案。 本文将带大家一步一步的实现基于prometheus的监控高可用集群（注重实战，非必要概念不讲） 你将得到一个无单点故障，可以监控物理机信息，openstack虚拟机信息，openstack服务，mysql，memcache，rabbitmq等多种信息的高可用监控集群，并且监控数...
Prometheus的Pushgateway快速部署及使用
最新发布
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
10-16 2972
Pushgateway为Prometheus整体监控方案的功能组件之一，并做于一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景，如监控源位于防火墙之后，Prometheus无法穿透防火墙；目标服务没有可抓取监控数据的端点等多种情况。在类似场景中，可通过部署Pushgateway的方式解决问题。当部署该组件后，监控源通过主动发送监控数据到Pushgateway，再由Prometheus定时获取信息，实现资源的状态监控。
Prometheus之PushGateway
m0_47495420的博客
05-30 1007
简介PushGateway 使用场景：Prometheus 采用定时 Pull 模式，可能由于子网络或者防火墙的原因，不能直接拉取各个 Target 的指标数据，此时可以采用各个 Target 往 PushGateway 上 Push 数据，然后 Prometheus 去 PushGateway 上定时 pull。其次在监控各个业务数据时，需要将各个不同的业务数据进行统一汇总，此时也可以采用 Pu...
Prometheus之pushgateway
梵修
02-20 3970
Pushgateway是Prometheus监控系统中的一个重要组件，它采用被动push的方式获取数据，由应用主动将数据推送到pushgateway，然后Prometheus再从Pushgateway抓取数据。Prometheus和target由于某些原因网络不能互通，需要经由Pushgateway代理某些作业生命周期较短，没有足够的时间等待Prometheus抓取数据。所以可以先把数据推送到Pushgateway，再让Prometheus抓取。
Pushgateway（2）自定义数据推送到pushgateway及推送数据的注意事项
учёба
02-11 6639
简单定义几条数据，并将其推送至pushgateway，方便我们验证自定义模板功能。 数据推送默认格式 们要 Push 数据到 PushGateway 中，可以通过其提供的 API 标准接口来添加， 默认 URL 地址为： http://<ip>:9091/metrics/job/<JOBNAME>{/<LABEL_NAME>/<LABEL_VALUE>}， 是必填项，为 job 标签值，后边可以跟任意数量的标签对， 一般我们会添加一个 instance/&
Hadoop HA 搭建（附问题解决方法）
10-20
资源中具体对Hadoop HA平台搭建过程中出现的问题给出了相应的解决办法，图文结合，适合新手学习来用，如果遇到其他，欢迎交流学习
风华贴片功率电感_HA系列.pdf
01-14
风华贴片功率电感_HA系列.pdf
使用HA-LVM实现高可用存储
01-30
然而，一个问题要问：“与专利的和更昂贵的解决方案相比较,这样的定制解决方案表现如何呢？”开放源码项目已经发展成熟到了具有足够的竞争力，并提供相同的功能丰富的解决方案，包括卷管理，数据快照，重复数据删除...
富芮坤FR8016HA开发板 使用手册
05-10
富芮坤FR8016HA开发板 使用手册
FR8016HA开发板使用手册V1.2-教程与笔记习题
05-19
FR8016HA开发板使用手册V1.2
粗读web框架之go gin和python django
qq_26193209的博客
06-10 2288
为什么引入web框架 web应用的本质 浏览器发送一个HTTP请求； 服务器收到请求，生成一个HTML文档； 服务器把HTML文档作为HTTP响应的Body发送给浏览器； 浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示； 涉及的问题 解析http请求 找到对应的处理函数 生成并发送http响应 web框架工作流程 中间件 中间...
解读两个一致性哈希算法
qq_26193209的博客
08-03 1104
最重要的一点忘了写了:一致性哈希算法为啥能在节点变更的时候只有少量key迁移是因为sortkeys列表其实就是一个哈希环，客户端的哈希值和存量的节点哈希值在有序的sortkeys列表中的相对位置没有变，变的是下线节点前面的哈希到再前面一个之间的值所以变更率为:1-n/m open-falcon中transfer会为judge和graph生成两个一致性哈希环 func initNodeRi...
从PVC使用率看k8s 监控控制平面指标稳定性规范KEP
qq_26193209的博客
01-08 1064
前言 kubernetes家大业大，监控纷繁复杂，感兴趣的小伙伴可以看看我之前写的文章从容器监控kube-stats-metrics看k8s众多组件 k8s中pv使用率监控 说明 虽然k8s最擅长的是无状态的pod，不建议有状态的存储型pod上 但是总有些使用场景需要，比如statefulset使用的pv 那么pv的使用率监控就非常有必要了 我们可以使用 kubelet_volume_stats_used_bytes/kubelet_volume_stats_capacity_bytes表征pod pv
服务树系列(一)：什么是服务树及其核心功能
qq_26193209的博客
01-08 894
前言 服务树这个名词几乎所有运维和运维开发同学都不陌生，但是服务树的原理和为啥用服务树估计大家并不了解，本文先来讨论下这些基本概念，下文讨论如何实现，下图为其核心组件stree-index 现已开源 开源项目地址: 项目地址: https://github.com/ning1875/stree-index 介绍文章 服务树系列(二)：开源项目：stree-index 物化路径+倒排索引实现的开源服务树核心组件 服务树与资源管理 其实无论是引入CMDB或服务树的一个重要目的是完成对应用运行所依赖的
Hadoop FileSystem使用HA的书写
06-06
在Hadoop中使用HA（高可用）的文件系统，需要在配置文件中指定多个NameNode的地址和通信端口号，并且配置ZooKeeper的地址和端口号。以下是一个示例配置文件： ``` <name>fs.defaultFS <value>hdfs://mycluster...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值