基于Nginx和kafka的日志收集平台

目录

项目描述

项目环境

项目原理：

1.1kafka必备知识

1.2kafka的数据可靠性和一致性

2.1zookeeper是什么？

2.2zookeeper中数据同步问题

2.3zookeeper中的leader和follower

2.4、zookeeper中的选举机制

2.5、zookeeper的脑裂问题

项目原理图

· 项目步骤

· 项目心得

---

项目描述

通过模拟企业的环境，实现一个双VIP高可用的Web服务器集群，使用Nginx做负载均衡，用中间件kafka收集用户访问的Nginx Web集群日志，用淘宝接口清洗数据，得出IP所属的 isp. provinEe和bandwidth并入库。

项目环境

entos8台,Nginx(1. 14. 1), keepalived(2. 1.5),filebeat,kafka(2.12),zookeeper,mysql等

项目原理：

前面写的博客讲解了原理

1.1kafka必备知识

kafka学习（1）_meikokoo的博客-CSDN博客

1.2kafka的数据可靠性和一致性

kafka学习（2）数据的可靠性和一致性_meikokoo的博客-CSDN博客

2.1zookeeper是什么？

zookeeper：分布式应用程序协调管理服务，用于配置管理、域名管理、分布式数据存储、集群管理；在kafka3.0版本已经脱离zookeeper，kafka自己实现zookeeper功能。

2.