Pushgetway安装和使用

最新推荐文章于 2024-02-22 23:30:00 发布
最新推荐文章于 2024-02-22 23:30:00 发布
阅读量1.7k 收藏 7
点赞数 2
分类专栏： prometheus 文章标签： prometheus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30614345/article/details/131522601
版权

1、Pushgetway安装和使用

在这里插入图片描述

1.1 Pushgateway是什么

pushgateway 是另一种数据采集的方式，采用被动推送来获取监控数据的prometheus插件，它可以单独运行在

任何节点上，并不一定要运行在被监控的客户端。

首先通过用户自定义编写的脚本把需要监控的数据发送给 pushgateway，pushgateway 再将数据推送给对应的

Prometheus 服务。

对于短时运行、不支持轮询的任务，可以引入 pushgateway，将指标数值以 push 的方式推送到 pushgateway暂

存，然后 prometheus 从 pushgateway 中轮询。

PushGateway：短期存储指标数据。主要用于临时性的任务，各个目标主机可以上报数据到 pushgateway，然后

prometheus server 统一从 pushgateway 拉取数据。

Pushgateway 是 prometheus 的一个组件，prometheus server 默认是通过 exporter 主动获取数据(默认采取

pull 拉取数据)，pushgateway 则是通过被动方式推送数据到 prometheus server，用户可以写一些自定义的监控

脚本把需要监控的数据发送给 pushgateway， 然后 pushgateway 再把数据发送给 Prometheus server。

1.2 使用Pushgateway的主要原因

1、因为Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙，导致 Prometheus 无法直接拉取各个

target 数据。

Prometheus 在一些情况下无法直接拉取各个 target 数据。

2、在监控业务数据的时候，需要将不同数据汇总，由 Prometheus 统一收集。

1.3 使用Pushgateway的弊端

由于以上原因，不得不使用 pushgateway，但在使用之前，有必要了解一下它的一些弊端：

1、将多个节点数据汇总到 pushgateway，如果pushgateway 挂了，受影响比多个 target 大。

通过单个 Pushgateway 监控多个实例时， Pushgateway 将会成为单点故障和潜在瓶颈。

2、Prometheus 拉取状态 up 只针对 pushgateway， 无法做到对每个节点有效。

3、Pushgateway 可以持久化推送给它的所有监控数据。 因此，即使你的监控已经下线，prometheus 还会拉取

到旧的监控数据，需要手动清理 pushgateway 不要的数据。

总：

  • Prometheus拉取状态只针对 pushgateway，不能对每个节点都有效。

  • Pushgateway出现问题，整个采集到的数据都会出现问题。

  • 监控下线，prometheus还会拉取到旧的监控数据，需要手动清理 pushgateway不要的数据。

1.4 Pushgateway流程图

在这里插入图片描述

我们编写脚本将数据发送到 Pushgateway，Pushgateway将数据 push 到 Prometheus。

1.5 与Prometheus结合使用流程图

通过客户端 POST数据至pushgateway，prometheus拉取pushgateway里数据，经过alertmanager报警规则触

发，到prometheusalert自定义模板，最后飞书机器人发送该报警信息。

在这里插入图片描述

1.6 Pushgateway使用

1.6.1 下载部署包

下载地址：

https://github.com/prometheus/pushgateway/releases/

这里下载 pushgateway-1.4.3.linux-amd64.tar.gz：

https://github.com/prometheus/pushgateway/releases/download/v1.4.3/pushgateway-1.4.3.linux-amd64.tar.gz
1.6.2 解压
tar -xvf pushgateway-1.4.3.linux-amd64.tar.gz
1.6.3 启动
nohup ./pushgateway >> nohup.out 2>&1 &
1.6.4 测试

访问：http://192.168.54.195:9091/

在这里插入图片描述

1.6.5 在Prometheus配置
- job_name: pushgateway
  static_configs:
    - targets: ['192.168.54.195:9091']
      labels:
        instance: pushgateway

重新启动 Prometheus：

nohup ./prometheus --config.file=prometheus.yml >> nohup.out 2>&1 &

在这里插入图片描述

1.6.6 测试发送数据
# 推送指定的数据格式到pushgateway
# 将"metrics"字节赋值"3.6",向{job="test_job"}添加单条数据
$ echo "metric 3.6" | curl --data-binary @- http://192.168.54.195:9091/metrics/job/test_job

查看结果：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

# 添加复杂数据
cat <<EOF | curl --data-binary @- http://192.168.54.195:9091/metrics/job/test_job/instance/test_instance
node_memory_usage 36
node_memory_total 36000
EOF

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

# 利用shell脚本完成数据推送
$ vim push.sh
# 内容
node_memory_usages=$(free -m | grep Mem | awk '{print $3/$2*100}')
job_name="memory"
instance_name="192.168.54.195"
cat <<EOF | curl --data-binary @- http://192.168.54.195:9091/metrics/job/$job_name/instance/$instance_name
# TYPE node_memory_usages gauge
node_memory_usages $node_memory_usages
EOF

# 执行
./push.sh

在这里插入图片描述

1.6.7 定时任务定时推送数据
# 新建定时任务
crontab -e 
或者
vim /etc/crontab

第一种方式 crontab -e：

  • 输入 crontab -e
  • 按下 a 键进入到编辑模式
  • 输入定时任务
  • 同时按下 ctrl+c 退出编辑模式
  • 按下 shift+: 输入 wq 退出 crontab

第二种方式 vim /etc/crontab：

$ vim /etc/crontab
# 写入如下内容
1 * * * * sh /home/zhangshixing/prometheus/prometheus-2.34.0-rc.2.linux-amd64/push.sh

# 查看定时任务
# 第一种方式
$ crontab -l
1 * * * * sh /home/zhangshixing/prometheus/prometheus-2.34.0-rc.2.linux-amd64/push.sh
# 第二种方式
$ cat /var/log/cron
Mar  3 09:23:01 zsx crond[27252]: (root) RELOAD (/var/spool/cron/root)
$ cat /var/spool/cron/root
1 * * * * sh /home/zhangshixing/prometheus/prometheus-2.34.0-rc.2.linux-amd64/push.sh
1.6.8 删除某个组下的某实例的所有数据
curl -X DELETE http://192.168.54.195:9091/metrics/job/some_job/instance/some_instance
curl -X DELETE http://192.168.54.195:9091/metrics/job/some_job

1.7 Pushgateway使用方法

$ ./pushgateway --help
usage: pushgateway [<flags>]

The Pushgateway

Flags:
  -h, --help                     		Show context-sensitive help (also try --help-long and --help-man).
      --web.config.file=""       		[EXPERIMENTAL] Path to configuration file that can enable TLS or uthentication.
      --web.listen-address=":9091"		Address to listen on for the web interface, API, and telemetry.
      --web.telemetry-path="/metrics"	Path under which to expose metrics.
      --web.external-url=        		The URL under which the Pushgateway is externally reachable(可从外部访问Pushgateway的URL).
      --web.route-prefix=""      		Prefix for the internal routes of web endpoints. Defaults to the path of --web.external-url(web端点内部路由的前缀,默认为-web.external-url的路径).
      --web.enable-lifecycle     		Enable shutdown via HTTP request.
      --web.enable-admin-api     		Enable API endpoints for admin control actions.
      --persistence.file=""      		le to persist metrics. If empty, metrics are only kept in memory(持久化metrics的文件,如果该文件为空,则metrics只保留在内存中).
      --persistence.interval=5m  		The minimum interval at which to write out the persistence file(写入持久性文件的最小间隔).
      --push.disable-consistency-check	Do not check consistency of pushed metrics. DANGEROUS.                  
      --log.level=info           		Only log messages with the given severity or above. One of: [debug, nfo, warn, error]
      --log.format=logfmt        		Output format of log messages. One of: [logfmt, json]
      --version                  		Show application version.

1.8 docker部署pushgateway

搜索镜像：

$ docker search pushgateway

在这里插入图片描述

$ docker search prom/pushgateway

在这里插入图片描述

拉取镜像：

$ docker pull prom/pushgateway

在这里插入图片描述

启动：

$ docker run -d --name pushgateway -p 9091:9091 --network host prom/pushgateway

在这里插入图片描述

通过http://192.168.54.195:9091/进行访问：

在这里插入图片描述

242030
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Prometheus+Grafana搭建全方位的监控告警系统
03-18
一、prometheus简介 Prometheus是一个开源的系统监控和告警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF维护管理的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，prometheus支持多种exporter采集数据，还支持通过pushgateway进行数据上报，Prometheus再性能上可支撑上万台规模的集群。 二、prometheus架构图 三、prometheus组件介绍 1.Prometheus Server: 用于收集和存储时间序列数据。 2.Client Library: 客户端库，检测应用程序代码，当Prometheus抓取实例的HTTP端点时，客户端库会将所有跟踪的metrics指标的当前状态发送到prometheus server端。 3.Exporters: prometheus支持多种exporter，通过exporter可以采集metrics数据，然后发送到prometheus server端 4.Alertmanager: 从 Prometheus server 端接收到 alerts 后，会进行去重，分组，并路由到相应的接收方，发出报警，常见的接收方式有：电子邮件，微信，钉钉, slack等。 5.Grafana：监控仪表盘 6.pushgateway: 各个目标主机可上报数据到pushgatewy，然后prometheus server统一从pushgateway拉取数据。 四、课程亮点 五、效果图展示 六、讲师简介 先超（lucky）：高级运维工程师、资深DevOps工程师，在互联网上市公司拥有多年一线运维经验，主导过亿级pv项目的架构设计和运维工作 主要研究方向： 1.云计算方向：容器 （kubernetes、docker），虚拟化（kvm、Vmware vSphere），微服务（istio），PaaS（openshift），IaaS（openstack）等2.系统/运维方向：linux系统下的常用组件（nginx，tomcat，elasticsearch，zookeeper，kafka等），DevOps（Jenkins+gitlab+sonarqube+nexus+k8s），CI/CD，监控（zabbix、prometheus、falcon）等 七、课程大纲
Prometheus 使用 PushGateway 进行数据上报采集
热门推荐
哎_小羊的博客
10-30 2万+
Prometheus 是一套开源的系统监控、报警、时间序列数据库的组合，最初有 SoundCloud 开发的，后来随着越来越多公司使用，于是便独立成开源项目。Prometheus 基本原理是通过 Http 协议周期性抓取被监控组件的状态，而输出这些被监控的组件的 Http 接口为 Exporter。PushGateway 作为 Prometheus 生态中的一个重要一员，它允许任何客户端向其 Push 符合规范的自定义监控指标，在结合 Prometheus 统一收集监控。
Prometheus pushgateway 介绍与使用
小楼一夜听春雨，深巷明朝卖杏花
12-15 1万+
Push Gateway：短期存储指标数据。主要用于临时性的任务，各个目标主机可以上报数据到pushgateway,，然后prometheus server统一从pushgateway拉取数据 1.Pushgateway简介 Pushgateway是prometheus的一个组件，prometheusserver默认是通过exporter主动获取数据（默认采取pull拉取数据），pushgateway则是通过被动方式推送数据到prometheusserver，用户可以写一些自定义的监控脚本...
prometheus实现pushgateway网关配置
最新发布
郑俊强的博客
02-22 1378
pushgateway适用场景由于安全性或者连通性，您无法到达目标资源，当服务或者应用程序只允许进入特定端口或者路径时，这是非常常见的场景目标资源的声明周期太短，例如容器的启动、执行、停止目标资源的没有可以刮的断点pushgateway是Prometheus下的一个组件，用来当做采集对象和Prometheus的代理，Prometheus会定时的从gateway上面pull数据。由于服务部署在容器中，服务的ip会经常的变化，导致Prometheus无法直接拉取到每个target的数据。
pushgateway linux版本
02-21
pushgateway官网下载速度太慢啦，宝子们可以自取
Prometheus + Grafana + Pushgateway部署
z530234020的博客
11-05 1218
部署Prometheus&Grafana step1.下载项目git项目 git clone https://github.com/coreos/kube-prometheus.git step2.拉取镜像 因为某些镜像被墙了，所以需要手动从阿里云上拉取镜像 该镜像是kube-state-metrics部署中所需要的一个镜像，下面进行镜像下载： addon-resizer sudo...
【云原生】Prometheus Pushgetway讲解与实战操作
匠人精神，持之以恒！
12-11 6142
是Prometheus的一个组件，默认是通过Exporter主动获取数据（默认采取pull拉取数据），则是通过exporter主动方式推送数据到，再由Prometheus主动去拉取 Pushgateway数据，用户可以写一些自定义的监控脚本把需要监控的数据发送给Pushgateway。从角度看，都是由主动去拉取各个数据源（例：Exporter和Pushgateway）的数据。
Pushgateway的安装与使用
m0_71239320的博客
11-30 2176
我们在使用Prometheus进行监控应用时，常常需要一些设备的指标进行监控，我们常用的方式为一些exporter进行监控。但是一些应用并没有exporter，这时我们就需要使用Pushgateway进行拉取数据，最后推送到Prometheus上。
Pushgateway是什么及使用场景
учёба
02-11 2232
1 Pushgateway是什么 pushgateway是另一种数据采集的方式，采用被动推送来获取监控数据的prometheus插件，它可以单独运行在任何节点上，并不一定要运行在被监控的客户端。 首先通过用户自定义编写的脚本把需要监控的数据发送给pushgateway， pushgateway再将数据推送给对应的Prometheus服务。 对于短时运行、不支持轮询的任务，可以引入 pushgateway，将指标数值以 push 的方式推送到 pushgateway暂存，然后 prometheus 从
监控数据指标 PushGateway 配置 Prometheus （七）
鱼的博客
07-02 6193
prometheus自定义监控指标 基础知识 1.在Prometheus官网下载组件 https://prometheus.io/download/ 2.第三方插件 https://prometheus.io/docs/instrumenting/exporters/ 3.客户库 https://www.kancloud.cn/cdh0805010118/prometheus/719366 4.PushGateway 文档详解 https://blog.csdn.net/aixiaoyang168/arti
Prometheus的Pushgateway快速部署及使用
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
10-16 3266
Pushgateway为Prometheus整体监控方案的功能组件之一，并做于一个独立的工具存在。它主要用于Prometheus无法直接拿到监控指标的场景，如监控源位于防火墙之后，Prometheus无法穿透防火墙；目标服务没有可抓取监控数据的端点等多种情况。在类似场景中，可通过部署Pushgateway的方式解决问题。当部署该组件后，监控源通过主动发送监控数据到Pushgateway，再由Prometheus定时获取信息，实现资源的状态监控。
push_gateway：通过UDP接收推送的数据以通过管道发送
03-03
PushGateway 配置 在您的环境配置文件中，使用以下命令设置网关： config :push_gateway , port: 5555 , max_batch: 100 , (optional, default // 100 ) min_batch: 75 , (optional, default // 75 ) processors: 5 (optional, default // 1 ) 唯一需要的值是网关将侦听传入数据包的端口。
Prometheus监控系统（4）pushgateway及自定义脚本
weixin_42073629的博客
05-31 2012
一、pushgateway的作用 传统监控软件如Zabbix通常都建议使用push的方式来由客户端推送数据给服务端，这样可以减轻服务端压力。但是这样也有个弊端就是配置更为复杂，需要在每个agent上都配置server的地址才可以感知到server的存在。虽然Prometheus默认已经是采用pull的方式来主动拉取数据，但是在某些情况下还是会使用更灵活的push方式，比如需要监控的项目生命周期很短，需要主动上报数据给服务端，这个时候就可以使用Prometheus的pushgateway来实现push方式的
基于Prometheus的Pushgateway实战
shykevin的博客
11-09 1963
基于Prometheus的Pushgateway实战 一、Pushgateway 简介 Pushgateway是 Prometheus 生态中一个重要工具，使用它的原因主要是： Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因，导致 Prometheus 无法直接拉取各个 target 数据。 在监控业务数...
PushGateway 部署实践
叱咤少帅的博客
01-04 284
PushGateway 部署实践
boot - prometheus-push gateway 使用
面朝大海，春暖花开
07-06 911
一般的，如果使用prometheus 集成 boot 应用 ，就需要 在 prometheus 中配置 一个任务，如果应用 很多，这样不太方便，就可以使用 prometheus push gateway数据流向:docker-compose.yml 配置文件 配置 prometheus prometheus.yaml boot 集成 prometheus gateway 引入依赖 application.properties 配置 数据统计 访问 prometheus push gateway: 再看
Prometheus之pushgateway
梵修
02-20 4072
Pushgateway是Prometheus监控系统中的一个重要组件，它采用被动push的方式获取数据，由应用主动将数据推送到pushgateway，然后Prometheus再从Pushgateway抓取数据。Prometheus和target由于某些原因网络不能互通，需要经由Pushgateway代理某些作业生命周期较短，没有足够的时间等待Prometheus抓取数据。所以可以先把数据推送到Pushgateway，再让Prometheus抓取。
pushgateway
qq_38814358的博客
09-24 7365
usage: pushgateway [] The Pushgateway Flags: –web.listen-address=":9091" 监听Web界面，API和遥测的地址。 –web.telemetry-path="/metrics" 公开metrics的路径。 –web.external-url= 可从外部访问Pushgateway的URL. –web.ro...
Pushgateway（2）自定义数据推送到pushgateway及推送数据的注意事项
учёба
02-11 6760
简单定义几条数据，并将其推送至pushgateway，方便我们验证自定义模板功能。 数据推送默认格式 们要 Push 数据到 PushGateway 中，可以通过其提供的 API 标准接口来添加， 默认 URL 地址为： http://<ip>:9091/metrics/job/<JOBNAME>{/<LABEL_NAME>/<LABEL_VALUE>}， 是必填项，为 job 标签值，后边可以跟任意数量的标签对， 一般我们会添加一个 instance/&
pushgateway数据持久化
07-11
Pushgateway 是 Prometheus 生态系统中的一个组件，用于临时存储和持久化短期任务的指标数据。它允许应用程序将指标数据推送到 Pushgateway，并由 Prometheus 从 Pushgateway 获取数据进行抓取和持久化。 要实现 Pushgateway 数据的持久化，你可以考虑以下几个方法： 1. 使用持久化存储：Pushgateway 默认将数据存储在内存中，但你可以通过配置将其存储到持久化存储介质，如磁盘。这样可以确保即使重启 Pushgateway，也能保留之前推送的指标数据。 2. 定期备份：你可以设置定期备份 Pushgateway 的数据。定期备份可以通过将数据导出到文件，或者将其推送到其他远程存储（如对象存储服务）来实现。这样即使出现故障，也能恢复历史数据。 3. 数据复制：如果你有多个 Pushgateway 实例，你可以考虑使用数据复制来实现数据的冗余和容错。这可以通过设置多个 Pushgateway 实例，并使用适当的同步机制来实现数据的复制。 4. 故障恢复策略：在出现故障或不可用情况时，需要定义合适的故障恢复策略。例如，当 Pushgateway 不可用时，应用程序可以缓存指标数据，并在 Pushgateway 可用时重新推送。 需要注意的是，Pushgateway 适用于短期任务和临时指标数据的存储，并不适合长期存储大量数据。对于长期存储和分析，你可以考虑将指标数据导入到其他系统（如 Prometheus 或时间序列数据库）中。 希望以上信息能帮助到你！如果你还有其他问题，请继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值