Centos7+Prometheus2.31.1监控Clickhouse21.12.3【亲测可用】

1、ClickHouse安装(如果出现提示选择Y)

# sudo yum install yum-utils
# sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
# sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo
# sudo yum install clickhouse-server clickhouse-client
# mkdir -p /chbase/data/
# chown -R clickhouse.clickhouse /chbase/data/

修改ClickHouse数据存储目录:vim /etc/clickhouse-server/config.xml

<path>/chbase/data/</path>
<tmp_path>/chbase/data/tmp/</tmp_path>
<user_files_path>/chbase/data/user_files/</user_files_path>

修改密码:
生成SHA256密码密文:
echo -n newclickhouse | openssl dgst -sha256
从(stdin)=后进行服务密文粘贴到users.xml文件里。
vim /etc/clickhouse-server/users.xml
# 把明文密码写入进去
<password>newclickhouse</password>
# 把sha256密文写入进去
<password_sha256_hex>5edf6b6641dd0102fe216c8ea09b434ece0a8d39897a15289119b52e09caa521</password_sha256_hex>
注意:两种密码方式不能同时使用,注释其中一种密码方式使用:<!--   -->方式,建议不要使用明文<password></password>方式,原因不安全。
修改后进行重启服务:systemctl restart clickhouse-server
进行登录:clickhouse-client --password(这里需要您输入密码)

启用外网访问:vim /etc/clickhouse-server/config.xml
修改成<listen_host>::</listen_host>(修改成本机地址:192.168.159.131)

服务命令
开机启动:systemctl enable clickhouse-server
重启服务:systemctl restart clickhouse-server
服务器启动:systemctl start clickhouse-server
查看状态:systemctl status clickhouse-server -l

2、clickhouse_exporter插件安装

到网站https://github.com/ClickHouse/clickhouse_exporter下载clickhouse_exporter后进行解压,然后重命名为clickhouse_exporter,然后进行剪切到user/local/prometheus/P_tools/目录下,进入clickhouse_exporter目录执行下面两行:

# 采用阿里云服务器,因为本项目链接拒绝
export GOPROXY=https://mirrors.aliyun.com/goproxy/

# 编译下载
go build

#你登陆的用户
export CLICKHOUSE_USER="xx"

#你登陆的密码
export CLICKHOUSE_PASSWORD="xxx"

启动clickhouse_exporter:/usr/local/prometheus/P_tools/clickhouse_exporter/clickhouse_exporter -scrape_uri=http://default:newclickhouse@localhost:8123
(注1:http://default:newclickhouse@localhost:8123,这里我使用了用户名密码方式链接,如果不用可以是这样:http://clickhouse_server_ip:8123)
(注2:启动后可以访问http://localhost:9116/metrics,如果有数据代表链接成功)

3、prometheus配置:
跳转到/etc/clickhouse/目录下找到config.xml配置文件取消prometheus注释,重启clickhouse服务器,重启服务:systemctl restart clickhouse-server
加入9363端口:firewall-cmd --zone=public --add-port=9363/tcp --permanent
开启刷新防火墙:firewall-cmd --reload
进入prometheus安装路径并修改配置文件:
cd /usr/local/prometheus
vim prometheus.yml【增加以下内容】
  - job_name: 'clickhouse'
    static_configs:
    - targets: ['192.168.159.131:9116']
保存退出
重启prometheus:systemctl restart prometheus

4、Grafana导入clickhouse监控模板

Grafana平台里点击左侧菜单的Import导入按钮进行导入在Import via grafana.com下面的文本框输入882,然后点击Load进行导入后Grafana平台会自动跳转到监控页面。下面的截图就是监控到clickhouse的各项信息。(注:也可进入dashboards模板地址https://grafana.com/dashboards,进入后直接搜索您想使用的json模板进行下载。)

数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。课程涉及内容:Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件:集群监控:福利:本课程凡是消费满359的学员,一律送出价值109元的实体书籍.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值