基于Nginx、Kafka日志收集分析

项目环境：

8台服务器（2G，2核） Centos7, Nginx, Keepalived, Filebeat, Kafka, Zookeeper, MariaDB  项目描述： 收集用户访问Nginx Web集群的日志，利用淘宝的接口得到ip归属地，并将日志数据进行清 洗成想要的数据格式入库，最后用Kafka开发Api接口添加监控项进行监控告警。

项目步骤:

1.用 3 台服务器搭建好 Nginx Web 集群
2.用 2 台服务器做负载均衡器，并安装 Keepalived 软件，以实现其负载均衡，高可用的效果。
3.在 2 台负载均衡器上配置 Keepalived 成互为主备的双 vip，以达成资源最大化利用。
4.在 Nginx 服务器上安装 Filebeat 收集日志。
5.用 3 台服务器搭建 Kafka 集群，Filebeat 会把数据吐到 Kafka 中。
6.使用 pykafka 模块写一个 python 程序去做消费者，并利用淘宝的接口获取 IP 归属地然后 清洗数据。将清洗后的数据入库(MariaDB)。
7.使用 Python Flask 框架编写监控告警程序。

顶目心得:

1.对集群的概念有了更深刻的认识
2.在实验过程中，发现并了解了脑裂现象，有了一定的认识以及该如何避免。
3.认识到监控对运维的重要性。
4.对今后开发网站的架构能力有了较大的提升。
5.Troubleshooting 的能力得到了提升。