prometheus 监控clickhouse 集群(clickhouse_exporter监控ck -- 超详细)

一、prometheus通过exporter方式监控ck

1、前言:如何通过prometheus监控clickhouse,最简单方案exporter插件,话不多说,先上两张这边导入配置的几张监控图
在这里插入图片描述
2、先来总结下大致的流程如下:

  1. 下载clickhouse_exporter插件
  2. 在GitHub上面下载代码并编译(有坑,下面会讲解)
  3. 启动exporter并配置prometheus
  4. 结合grafana配置监控图

二、下载clickhouse_exporter插件并编译

GitHub地址:

https://github.com/ClickHouse/clickhouse_exporter

1、首先机器要有go环境(自行解决),cd到下载目录

git clone  https://github.com/f1yegor/clickhouse_exporter.git

cd /app/clickhouse_exporter

-- 首先要设置go环境指定代理,不然编译会报错
GOPROXY=https://goproxy.cn

-- 再编译:
go build clickhouse_exporter.go

2、编译成功会看到 二进制文件

在这里插入图片描述

网盘已上传编译好了的 clickhouse_exporter,需要可以自取
链接:https://pan.baidu.com/s/1BJYgwEnhTBmF-dD36cSS6Q?pwd=c2hp
提取码:c2hp

三、启动 clickhouse_exporter

如果设置了密码不指定,会报错连不上),启动成功会默认启动 9116 端口,浏览器可以访问一下

--设置了用户名密码:
/app/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://default:123456@localhost:8123/

--无用户密码:
./clickhouse_exporter -scrape_uri=http://clickhouse_server_ip:8123/

如果密码包含特殊字符,可以尝试使用URL编码来对特殊字符进行编码。例如,在您提供的示例中,#字符可以使用%23来替换,详细见URL中编码URL特殊字符。因此,可以尝试使用以下命令:
– 原密码:/app/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://default:123456#@localhost:8123/
– 设置URL编码:/app/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://default:123456%23@localhost:8123/

在这里插入图片描述

--设置成systemctl启动方式

cat /usr/lib/systemd/system/clickhouse_exporter.service
# -*- mode: conf -*-

[Unit]
Description=clickhouse_exporter
After=network.target

[Service]
User=clickhouse
ExecStart=/app/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://default:123456@localhost:8123/ $ZOOK_EXPORTER_OPTS
Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target
-- reload systemctl配置
systemctl daemon-reload

四、配置prometheus

修改prometheus.yml文件,targets 指定 clickhouse_exporter的ip地址和端口号

  - job_name: 'clickhouse_exporter'
    scrape_timeout: 10s
    metrics_path: /metrics
    static_configs:
      - targets:
        - '172.17.209.4:9116'
        - '172.17.209.5:9116'
        - '172.17.209.7:9116'

在这里插入图片描述

五、配置grafana

获取clickhouse的监控采集数据模板并导入,选择prometheus数据源,监控展示。(grafana官网导入的,我这边做了一定的修改,例如变量,还加了一些其他的监控图)
在这里插入图片描述

六、总结

clickhouse_exporter监控还是很全,有很多监控grafana模板里面没有,自己可以试着加一下重点的监控,大家可以参考腾讯云clickhouse的监控指标,一般clickhouse_exporter插件上都有,有的都可以配置到grafana进行监控

--腾讯云clickhouse监控
https://intl.cloud.tencent.com/zh/document/product/1026/36887

在这里插入图片描述
1、另外grafana模板地址官网有

grafana官网clickhouse_exporter模板:

https://grafana.com/grafana/dashboards/882

2、我这边的模板,大家如果想要也可以在下方留言,这边会分享给大家!有什么疑问欢迎下方留言哦!

  • 4
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 17
    评论
数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。课程涉及内容:Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件:集群监控:福利:本课程凡是消费满359的学员,一律送出价值109元的实体书籍.
Prometheus是一个广泛使用的开源监控系统,用于收集和存储系统指标数据。它具有灵活的查询语言和强大的图形化和报警功能,可用于监控各种类型的应用程序和基础设施。 要使用Prometheus监控系统,通常需要以下步骤: 1. 下载和安装Prometheus服务器:你可以从Prometheus官方网站下载适合你操作系统的二进制文件,并按照说明进行安装。 2. 配置Prometheus服务器:在安装完成后,你需要创建一个配置文件来定义你要监控的目标和其他设置。配置文件使用YAML格式,可以指定要监控的目标的地址、指标的抓取频率、告警规则等。 3. 启动Prometheus服务器:在配置文件完成后,你可以启动Prometheus服务器,并通过浏览器访问其Web界面,默认端口为9090。在Web界面中,你可以查看收集到的指标数据、执行查询、创建面板和设置告警规则等。 4. 配置目标应用程序:为了让Prometheus能够收集目标应用程序的指标数据,你需要在目标应用程序中集成Prometheus的客户端库,并在应用程序代码中暴露指标数据的接口。Prometheus客户端库支持多种编程语言,例如Go、Java、Python等。 5. 可选:使用Prometheus的可视化工具:Prometheus本身提供了一个基本的Web界面,但你也可以使用其他可视化工具来更好地展示和分析指标数据。一些流行的可视化工具包括Grafana和Kibana等。 总结来说,Prometheus提供了一种灵活、可扩展的方式来监控系统指标数据,可以帮助你有效地监控和管理你的应用程序和基础设施。
评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值