基于nginx，kafka，zookeeper的Log收集系统(使用mysql数据库收集)

项目经历时间：2022年7月-2022年8月

项目人员：3人

项目环境：

9台虚拟机(使用Centos7系统)

第1，2号虚拟机做代理集群，用于做负载均衡和反向代理(nginx/1.20.1)

第3，4，5号虚拟机用做应用集群，提供一个静态页面展(nginx/1.20.1,filebeat)

第6，7，8号虚拟机做消息中间件，基于kafka集群和zookeeper集群(kafka2.12,zookeeper3.6)

第9台虚拟机做mysql数据库来收集数据(MySQL5.7.34)

项目简介：

此项目是用于模拟企业公司进行大工作时产生的大数据进行日志收集，并对其进行清洗，将需要的数据存入数据库中

项目步骤：

1.规划好整个项目的拓扑结构和思维导图，并细分解析每一步需要做的事

2.安装好每个虚拟机需要的环境，模块与软件。并且配置好静态ip，DNS域名解析，修改每台主机名方便区分每台虚拟机的作

3.利用两台虚拟机用作nginx代理集群，配置好keepalive双vip的环境用做负载均衡和高可用

4.利用三台nginx虚拟机来做web页面的静态展示，在etc/nginx/nginx.cof下配置好其端口号，源代码文本路径，访问日志的

保存路径。

5.使用三台虚拟机来搭建kakfa应用集群，用作消息中间件，修改/opt/kafka_2.12-2.8.1/config /server.properties文件来配

置broker，监听端口和zookeeper连接

6.再在kafka基础上搭建zookeeper来管理kafka集群，在/opt/apache-zookeeper-3.6.3-bin/confs文件下，配置相连的

kafka集群，创建/tmp/zookeeper目录，在目录添加myid文件，里面存放的是每台zookeeper的id

7.在web静态页面的三台虚拟机上部署filebeat，来实现读取对应位置的日志，上报到相应的kafka集群上去

8..开启zookeeper和kafka，创建topic和生产者消费者进行测试，检测生产者产生的数据能否被消费者消费

9.编写python脚本，创建消费者并连接MySQL数据库来存放消费的数据。使用了json，requests，time，pymysql模块实现

项目的详细