clickhouse + prometheus + grafana 监控

prometheus + grafana 是已经存在的监控平台,此处不在赘述。只是介绍如何将 clickhouse 的监控数据接入 prometheus。

export 使用的是 clickhouse_exporter 。

具体步骤如下:

git clone https://github.com/ClickHouse/clickhouse_exporter  

# go build 需要添加下go的代理,此处采用阿里的 (需要预装go语言)
export GOPROXY=https://mirrors.aliyun.com/goproxy/
# 编译
go build 

# 信息配置
export CLICKHOUSE_USER="xx"
export CLICKHOUSE_PASSWORD="xxx"

# 后台启动
nohup ./clickhouse_exporter -scrape_uri=http://xxx.xxx.xxx.xxx:8123 > nohup.log 2>&1

# 验证是否成功
curl localhost:9116/metrics | head

 如果出现下面情况,证明已成功:

[root@ck02 clickhouse_exporter]# curl localhost:9116/metrics | head


  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 45573  100 45573   # HELP clickhouse_arena_alloc_bytes_total Number of ArenaAllocBytes total processed
 # TYPE clickhouse_arena_alloc_bytes_total counter
0clickhouse_arena_alloc_bytes_total 9.67172096e+08
 # HELP clickhouse_arena_alloc_chunks_total Number of ArenaAllocChunks total processed
 # TYPE clickhouse_arena_alloc_chunks_total counter
 clickhouse_arena_alloc_chunks_total 235666
 # HELP clickhouse_background_buffer_flush_schedule_pool_task Number of BackgroundBufferFlushSchedulePoolTask currently processed
 # TYPE clickhouse_background_buffer_flush_schedule_pool_task gauge
0clickhouse_background_buffer_flush_schedule_pool_task 0
 # HELP clickhouse_background_distributed_schedule_pool_task Number of BackgroundDistributedSchedulePoolTask currently processed
 1711k      0 --:--:-- --:--:-- --:--:-- 1780k

接下来修改下prometheus的配置:

scrape_configs:  
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.  
  - job_name: 'clickhouse'  

    # metrics_path defaults to '/metrics'  
    # scheme defaults to 'http'.  
    static_configs:  
    - targets: ['clickhouseexporter1:9116', 'clickhouseexporter2:9116', ...]

 找一个clickhouse的监控模板,这里我用了 882 模板。模板跳转

最终效果图:

 刚接入,信息不多,整个流程就是这样子。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。课程涉及内容:Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件:集群监控:福利:本课程凡是消费满359的学员,一律送出价值109元的实体书籍.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

chaos jin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值