EFK集群

最新推荐文章于 2024-07-08 13:31:31 发布

原创

最新推荐文章于 2024-07-08 13:31:31 发布

· 255 阅读

0 ·

版权

文章标签：

#linux #elk

本文档详细介绍了如何在三台Linux服务器上搭建EFK（Elasticsearch, Fluentd, Kibana）集群。首先，关闭防火墙，安装Java环境，并部署Zookeeper和Kafka。接着，配置Zookeeper并启动服务，然后搭建Kafka并创建主题。在第一台服务器上安装Filebeat，配置并收集不同类型的日志。随后，在第二台服务器上安装Logstash，配置管道以处理不同类型的日志。最后，在第三台服务器上安装Elasticsearch和Kibana，完成集群的构建。通过模拟生产者和消费者验证了EFK集群的功能。" 112097278,10535136,自动驾驶中的采样规划算法：随机性与确定性采样,"['自动驾驶', '规划算法', '采样技术']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备三个两核两G大小的服务器

1.关闭防火墙

1 2	`systemctl stop firewalld` `setenforce 0`

2.每一台安装jd环境

查看是否安装成功

java -version

出现版本号则为成功

上传zookeeper和kafka（每一台都需要安装）

将解压包解压后分别移出

zookeeper的解压包移到 /usr/local/zookeeper

kafka的解压包移到 /usr/local/kafka

1 mv kafka_2.11-2.2.0 /usr/local/kafka
2 mv zookeeper-3.4.14 /usr/local/zookeeper

进入 /usr/local/zookeeper中创建文件

cd /usr/local/zookeeper
mkdir {zkdatalog,zkdata}

进入/usr/loca/zookeeper/conf 复制一个配置文件修改复制出来的配置文件

cd  /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

进入zoo.cfg配置文件中的注释行删掉 server 1 2 3 是三台ip虚拟机的ip

保存退出后在每一台主机上进行myid的修改

第一台： echo “1” > /usr/local/zookeeper/zkdata/myid
第二台： echo "2" > /usr/local/zookerper/zkdata/myid
第三台： echo "3" > /usr/local/zookerper/zkdata/myid

启动服务后，依次按着顺序启动zookeeper

cd /usr/local/zookeeper/conf
./zkServer.sh start

启动后查看zookeeper的状态

1 2	`cd` `/usr/local/zookeeper/bin` `./zkServer.sh status`

第一台：

第二台：

第三台：

zookeeper搭建成功

kafka开始搭建 (每一台都进行这个操作)

cd /usr/local/kafka/config
vim server.properties

第一台：

broker.id=1

advertised.listeners=PLAINTEXT://kafka01:9092

zookeeper.connect=192.168.135.129:2181,192.168.135.130:2181,192.168.135.132:2181

第二台：

broker.id=2

advertised.listeners=PLAINTEXT://kafka02:9092

zookeeper.connect=192.168.135.129:2181,192.168.135.130:2181,192.168.135.132:2181

第三台

broker.id=3

advertised.listeners=PLAINTEXT://kafka03:9092

zookeeper.connect=192.168.135.129:2181,192.168.135.130:2181,192.168.135.132:2181

进入 /etc/hosts进行编辑（每一台都是如此）

vim /e

最低0.47元/天解锁文章