开源项目: prome_shard ：consulwatch+动态分片实现Prometheus采集端高可用

最新推荐文章于 2024-01-16 16:06:24 发布
最新推荐文章于 2024-01-16 16:06:24 发布
阅读量272 收藏
点赞数
分类专栏： 运维开发 golang 监控系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26193209/article/details/112362918
版权
监控系统 同时被 3 个专栏收录
15 篇文章 3 订阅 ¥29.90 ¥99.00
订阅专栏
golang
17 篇文章 1 订阅
订阅专栏
运维开发
15 篇文章 0 订阅
订阅专栏
开源项目prome_shard利用consulwatch和动态分片解决Prometheus采集端的单点问题。项目通过一致性哈希分发目标到各个采集器，实现高可用。支持多种采集类型，包括机器、k8s、业务指标等，并通过file_sd统一管理。遇到的问题包括服务发现、单点故障等，项目提供了详细的使用配置和架构说明。
摘要由CSDN通过智能技术生成

开源项目地址: 项目地址: https://github.com/ning1875/prome_shard

在这里插入图片描述

项目说明

prometheus采集端单点问题

采集类型

  • 采集机器级别的指标
  • 采集k8s基础监控指标
  • 采集部署在lb后面的vm业务指标
  • 采集部署在pod里的业务指标
  • 采集各种中间件的指标 如kafka zk clickhouse等
    面对如此复杂的采集类型，一般会使用一批采集Prometheus各司其职

sd发现问题

面对不同的采集来源，有对应的服务发现类型，如k8s_sd，我们修改Prometheus代码适配不同的服务发现类型，

  • 比如有一些指标挂在lb的后面࿰
了解本专栏 订阅专栏 解锁全文
ning1875
关注
专栏目录
订阅专栏
开源项目 : prome-route： 使用反向代理实现prometheus分片
qq_26193209的博客
01-08 297
开源项目地址: 项目地址: https://github.com/ning1875/prome-route PS: 这是一个仅用时半天就写完的项目 架构图 prometheus HA prometheus本地tsdb性能出色，但是碍于其没有集群版本导致HA较差 实现手段 注意这些手段都是要数据的统一存储 可以通过remote_write 到一个提供HA的tsdb存储中 通过联邦收集到一个prometheus里 问题来了，搞不定集中式的tsdb集群，或者集群挂了咋办 本项目介绍 原理介绍 肯定有一组p
蓝天采集器：一个开源的PHP爬虫系统，可视化的采集器
秋天的博客
09-18 6056
简介 蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝耦合各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是大数据、云时代网站数据自动化采集的最佳云端爬虫软件。 官方网站：http://www.skycaiji.com/ 截图 安装 环境要求：Apache/Nginx、MySQL >= 5.0、...
github采集器 开源_开源项目prome_shard consulwatch+动态分片实现Prometheus采集端高可用...
weixin_39824834的博客
12-20 301
开源项目地址: 项目地址: https://github.com/ning1875/prome_shard​github.com项目说明prometheus采集端单点问题采集类型采集机器级别的指标采集k8s基础监控指标采集部署在lb后面的vm业务指标采集部署在pod里的业务指标采集各种中间件的指标 如kafka zk clickhouse等 面对如此复杂的采集类型，一般会使用一批采集Prometh...
Flume + Keepalived构建高可用分布式采集系统
iteye_14970的博客
10-23 178
上一篇《Flume之Failover和Load balancing原理及实例》的实例的架构如下： 10.0.1.76作为Client，通过exec获取nginx的日志信息，然后将数据传到10.0.1.68（配置了Failover和Load balancing）的节点，最后10.0.1.68将数据发送的10.0.1.70，77，85，86，87节点，这些节点最终将数据写到本地硬盘。 那么...
阿里千万实例可观测采集器-iLogtail正式开源
阿里云云栖号
12-14 1952
简介：11月23日，阿里正式开源可观测数据采集器iLogtail。作为阿里内部可观测数据采集的基础设施，iLogtail承载了阿里巴巴集团、蚂蚁的日志、监控、Trace、事件等多种可观测数据的采集工作。iLogtail运行在服务器、容器、K8s、嵌入式等多种环境，支持采集数百种可观测数据，目前已经有千万级的安装量，每天采集数十PB的可观测数据，广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。 作者 | 元乙 来源 | 阿里技术公众号 11月23日，阿里正式开源可观测数据采集器iL.
github采集器 开源_福利！GitHub上6个超强开源机器学习库盘点
weixin_39928940的博客
12-19 330
全文共2433字，预计学习时长5分钟1. XLNet：下一代大型自然语言处理框架自然语言处理是目前机器学习领域最热门的话题，本文也将从这里开始。如果说刚过去的2018年是机器学习发展的关键之年，那么2019年已然超越了它。XLNet是目前最先进的自然语言处理框架，它给自然语言处理领域，甚至整个机器学习领域带来了翻天覆地的变化。XLNet采用Transformer-XL作为其主干模型。与此同时，开发...
开源项目: pre_query: 给prometheus 重(heavy_query)查询提速
qq_26193209的博客
01-08 221
项目地址 pre_query https://github.com/ning1875/pre_query 术语解释 什么是heavy_query 顾名思义 就是查询表现出来返回时间较长，对应调用服务端资源较多的查询 一般我们定义在1小时内的range_query 响应时间超过3秒则认为较重了 instance_query 当前点查询，用作报警查询或展示当前分布情况，对应调用的是prometheus 的/api/v1/query接口 range_query 查询一段时间的曲线，，对应调用的是promethe
monitor源码java-microservices-observability:该项目演示了如何使用Java框架和开源工具（例如prome
05-21
本教程将使用云原生计算基金会支持的开源项目，以一种以业务为中心的方法，以实用的视角深入研究面向领域的可观察性，监视，检测和跟踪。 警告：这不是生产应用程序！ 它不会与任何实际的API或设备集成。 构建该项目...
【部署prometheus+pushgateway+node_exporter+opengauss_exporter+grafana监控openGauss数据库】
最新发布
momge的博客
01-16 1675
摘要：本文介绍了搭建prometheus监控环境的详细过程及搭建过程中遇见的问题及其解决方案，通过prometheus+pushgateway+node_exporter+opengauss_exporter的监控矩阵，实现对openGauss数据库及其运行环境的监控，并将监控数据在grafana上进行可视化展示。
prometheus-服务发现
01-07
名词定义 概念  基于文件的服务发现 基于Consul的服务发现 其他动态的服务发现 对比 参考 名词定义 target：被监控的目标节点 概念 已经知道prometheus是基于pull形式进行数据采集，prometheus可以通过静态配置更新监控的目标，但这样势必带来巨大的运维开销。如何实现服务的自动发现，这就需要引入中间人（服务注册中心），这就是服务发现：  基于文件的服务发现 通过创建target.json文件，将所有的target配置在target.json，在需要更新target的时候，只需要更新target.json，格式如下： [ { targets: [
Prometheus 采集器
Onovo的博客
01-11 441
Linux下 Prometheus 安装 Prometheus 安装 下载 下载连接 根据自身环境选择安装包，选择了对应的版本。 此处以prometheus-2.23.0-rc.0.linux-amd64.tar.gz演示 # 新建 prometheus 文件夹 [root@nginx ~]# mkdir /usr/local/prometheus # 将下载好的安装包上传至此目录 # 解压 [root@nginx prometheus]# tar -zxvf prometheus-2.23.0-rc.
Prometheus高可用自动分区方案
Qinng的博客
03-31 1296
在Prometheus分区实践中我们介绍了使用集群联邦与远程存储来扩展Prometheus以及监控数据持久化，但之前的分区方案存在一定不足，如分区配置较难维护，全局Prometheus存在性能瓶颈等，本文通过Thanos+Kvass实现更优雅的Prometheus扩展方案。 自动分区 之前分区方案依赖Prometheus提供hashmod，通过在配置中指定hash对象与modules进行散列（md5），每个分片只抓取相同job命中的对象，例如我们可以通过对node散列从而对cadvisor、node-exp
GitHub 出的这个功能，让开源项目有了自己的社区
azl397985856的专栏
11-15 416
点击上方蓝色“polarisxu”关注我，设个星标，不会让你失望大家好，我是站长 polarisxu。为了更有利于开源项目的发展，形成自己的社区很重要，作者们可以更好地和使用者交流互动，...
实验楼：楼+数据分析与挖掘 挑战三【使用 GitHub API 采集数据】
weixin_45633407的博客
10-16 976
挑战内容 GitHub 上的每一个仓库默认都会有 Issues 页面，Issues 相当于仓库的问题追踪系统，开发者的功能需要，用户找到的 BUG 都可以提交为 Issues。例如，著名数据分析库 Pandas 其托管在 GitHub 上的地址为： 仓库地址：https://github.com/pandas-dev/pandas Issues 地址：https://github.com/pandas-dev/pandas/issues Issues API 地址：https://api.githu
github采集器 开源_GitHub关键字扫描开源工具推荐
weixin_39626237的博客
12-19 2829
互联网上数次曝出的GitHub泄漏公司比较敏感信息内容恶性事件，表明企业安全中GitHub关键词扫描仪是很重要及关键的安全性基础设施，我用了某些恶性事件对于不一样种类的GitHub扫描仪开源系统商品作了某些检测调查，与君共享。一、GitHub检索插口github得出了在编码找中关键字搜索的API，而且界定默认设置只检索主支系编码，也就是说master这一支系，只能低于384KB的文档能够被检索。在...
千万级可观测数据采集器--iLogtail代码完整开源
Admans的专栏
07-12 181
2022年6月29日，阿里云iLogtail开源后迎来首次重大更新，正式发布完整功能的iLogtail社区版。本次更新开源全部C++核心代码，该版本在内核能力上首次对齐企业版，开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。本次发布新增日志文件采集、容器文件采集、无锁化事件处理、多租户隔离、基于Pipeline的新版配置方式等诸多重要特性，全面增强社区版的易用性和性能，欢迎广大开发者关注、共建。可观测性是通过检查其输出来衡量系统内部状态的能⼒。该术语起源于⼏⼗年前的控制理论，最早
【搬运自用】 网络数据采集概述 -Python100天从新手到大师Day56（GitHub）
weixin_57560711的博客
08-25 266
搬运Github热门项目Python从新手到大师Day56内容，仅供自己学习和参考
github采集器 开源_GitHub敏感信息采集工具GSIL
weixin_39734184的博客
12-19 221
github tokensTraceback (most recent call last):File "H:\python\lib\configparser.py", line 1138, in _unify_valuessectiondict = self._sections[section]KeyError: 'github'During handling of the above exce...
ProMe即时问答工具：移动终端的创新应用
"2012年华北五省（市、自治区）及港澳台大学生计算机应用大赛移动终端应用创意与程序设计参赛项目——ProMe即时问答工具，是一款结合即时通讯、搜索引擎、自动问答系统和论坛功能的手机应用程序，旨在解决传统搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值