性能监控数据采集

一、数据库服务器性能数据采集

1.下载mysqld_exporter 0.11.0

下载地址：https://pan.baidu.com/s/1JfjbK3uOMXObc7-F8h13Dw

密码：dsxn

2.解压到相应目录tar xvzf mysqld_exporter 0.11.0

3.创建文件.my.cnf

4.启动mysqld_exporter

5.启动perprometheus

配置文件后启动

6.启动grafana后进行访问

二、缓存服务器性能数据采集

1.下载redis_exporter-v1.0.4.linux-amd64.tar.gz

https://github.com/oliver006/redis_exporter/releases/download/v1.0.4/redis_exporter-v1.0.4.linux-amd64.tar.gz

2.启动redis_exporter

3.启动perprometheus

配置文件后启动

4.启动grafana后进行访问

三、队列服务器性能数据采集

1.准备到官网Apache Kafka下载安装包比如kafka_2.13-2.4.0.tgz

2.解压到相应目录tar xvzf kafka_2.13-2.4.0.tgz

3.启动kafka自带的zookeeper集群

#创建zk的数据目录

 mkdir /home/kafka1/kafka_2.13-2.4.0/zk_。data

#修改zookeeper配置文件

 vi /home/kafka/kafka_2.13-2.4.0/config/zookeeper.properties

 #添加myid,每个机器都不能相同

 #启动zookeeper

nohup /home/kafka/kafka_2.13-2.4.0/bin/zookeeper-server-start.sh /home/kafka/kafka_2.13-2.4.0/config/zookeeper.properties &>>/home/kafka/kafka_2.13-2.4.0/zookeeper1.log &
(如果报错，查看端口是否开放)

4.启动kafka

#创建数据目录

mkdir kafka_data

#修改配置文件vi /home/kafka/kafka_2.13-2.4.0/config/server.properties

修改broker.id，三台机器不能一致

默认num.network.threads=3，接受数据3个线程

默认num.io.threads=8，写入8个线程

 修改zookeeper配置

#启动kafka

nohup /home/kafka/kafka_2.13-2.4.0/bin/kafka-server-start.sh /home/kafka/kafka_2.13-2.4.0/config/server.properties &>>/home/kafka/kafka_2.13-2.4.0/kafka.log &

4.启动topic

#创建topic

/home/kafka/kafka_2.13-2.4.0/bin/kafka-topics.sh --create --zookeeper 192.168.52.61:2181,192.168.52.120:2181,192.168.52.84:2181/kafka --replication-factor 3 --partitions 3 --topic test4

5.生产消息        

/home/kafka/kafka_2.13-2.4.0/bin/kafka-producer-perf-test.sh --topic test10 --num-records 100 --record-size 10 --throughput 20 --producer-props bootstrap.servers=192.168.52.61:9092,192.162.52.120:9092,192.168.52.84:9092

 6.消费消息   

 /home/kafka/kafka_2.13-2.4.0/bin/kafka-consumer-perf-test.sh --broker-list 192.168.52.61:9092,192.162.52.120:9092,192.168.52.84:9092 --topic test10 --fetch-size 1048576 --messages 10000000 --threads 10 --timeout 60000

#查看group

/home/kafka/kafka_2.13-2.4.0/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.52.84:9092 --list

#查看消费情况

/home/kafka/kafka_2.13-2.4.0/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.52.120:9092 --describe --group perf-consumer-71000

 当前的消费进度（CURRENT-OFFSET）、消息进度（LOG-END-OFFSET）【有多少数据】、落后量（LAG）

7.启动node_exporter

./node_exporter &（默认端口为9100）

8.启动kafka_exporter

nohup ./kafka_exporter --kafka.server=192.168.52.61:9092
（web访问端口为9308）

9.启动perprometheus

配置文件后启动

./prometheus --config.file=prometheus.yml &

10.启动grafana后进行访问