EFK相关监控：filebeat、logstash、ES监控，Kafka-manager监控

Filebeat的监控：利用kibana

方法一：直接配置kibana的域名

# filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data0/logs/*/*/*.log
  ignore_older: 168h

setup.kibana:
  # Kibana Host
  host: "elk.fangdd.net:80"

方法二：通过xpack进行配置（与logstash的配置相似）

 

 

logstash监控：利用kibana

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: ["http://xxx:9200", "http://xxx:9200"] 
xpack.monitoring.elasticsearch.username: "username" 
xpack.monitoring.elasticsearch.password: "password"

 

 

ES监控：利用kibana

安装kibana的时候配置（kibana的配置文件）需要直接写上ES的地址

 

 

Kafka监控：利用Kafka-manager

1.安装Kafka-manager

直接下载一个编译（sbt编译）好的包scp到线上

解压，配置文件，只需要修改zk地址（注意：很多配置有两条，一个是环境变量一个写死，注释掉一个即可）

2.刚刚安装Kafka-manager，打开UI是没有topic信息的，尽管你已经在配置文件中写入了zk的地址，需要add cluster；

add cluster的时候：选择Kafka的版本，自定义cluster的名字，重新填zk地址；（注意：我线上装的Kafka版本是2.3.0，Kafka-manager的版本是2.0.0.0，UI界面选择Kafka版本时最大可以选到2.2.0版本，经过实测，也可以监控2.3.0版本的Kafka）