SpringCloud的分布式日志监控部署

ZK集群

• 环境变量

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_161
JRE_HOME=/usr/java/jdk1.8.0_161/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
ZOOKEEPER_HOME=/data/elk/zookeeper-3.4.14
KAFKA_HOME=/data/elk/kibana-7.4.2-linux-x86_64
PATH=$PATH:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$KAFKA_HOME/bin
export PATH JAVA_HOME ZOOKEEPER_HOME CLASSPATH KAFKA_HOME

source /etc/profile

• 配置hosts

vim /etc/hosts

10.20.74.78 server-1
10.20.74.77 server-2
10.20.74.76 server-3

• 到zk的配置目录
  /data/elk/zookeeper-3.4.14/conf

dataDir=/data/elk/zookeeperData
dataLogDir=/data/elk/zookeeperLogData
clientPort=2181
server.1=server-1:2888:3888
server.2=server-2:2888:3888
server.3=server-3:2888:3888

• 创建zk的dataDir文件夹和dataLogDir文件夹,在/data/elk下

mkdir zookeeperData

• 在zookeeperData目录下，创建myid文件，并设置节点的唯一标识

touch myid

• 创建zk日志输出文件夹

mkdir zookeeperLogData

• 启动zk

zkServer.sh start

• 如果失败，可能是因为节点之间无法通信，检查防火墙

 systemctl stop firewalld.service
 systemctl disable firewalld.service
 systemctl status firewalld.service

kafka配置

• 创建kafkaLog
• config/server.properties
• host.name 配置本机ip，broker.id与本机zk中的myid文件的标识符一样

broker.id=1
host.name=10.20.74.78
log.dirs=/data/elk/kafkaLog
zookeeper.connect=server-1:2181,server-2:2181,server-3:2181

• 在kafka的bin下执行启动命令

./kafka-server-start.sh -daemon ../config/server.properties

• 测试kafka安装是否成功
• 创建主题

 ./kaftopics.sh --create --zookeeper server-1:2181 --replication-factor 1 --partitions 1 --topic kafkademo

• 生产消息

 ./kafka-console-producer.sh --broker-list server-2:9092 -topic kafkademo

• 消费消息

 ./kafka-console-consumer.sh --bootstrap-server server-3:9092 -topic kafkademo --from-beginning

elastic-search配置

• 修复系统配置

vim /etc/security/limits.conf

• 新增内容如下

* hard nofile 65536
* soft nproc 2048
* hard nproc 4096
* soft memlock unlimited
* hard memlock unlimited

vim /etc/sysctl.conf

• 新增内容如下：

  vm.max_map_count=655360
fs.file-max=655360

• 执行 sysctl -p 让其生效
• 创建esdata和eslog存储es生产的数据和日志
• 创建el用户

useradd el
passwd el
chown -R el:el /data/elk/esdata
chown -R el:el /data/elk/eslog
chown -R el:el /data/elk/elasticsearch-7.4.2/

• 修改config下配置文件elasticsearch.yml

 cluster.name: es-cluster

node.name: node-1
node.master: true
node.data: true

path.data: /data/elk/esdata

path.logs: /data/elk/eslog

network.host: 0.0.0.0

http.port: 9200
transport.tcp.port: 9300

discovery.seed_hosts: ["10.20.74.78", "10.20.74.77","10.20.74.76"]

cluster.initial_master_nodes: [&#