日志收集分析平台02（nginx-filebeat-kafka-zookeeper）

目录

前言：

nignx

Keepalived服务：

nginx的配置：

filebeat

filebeat介绍：

 filebeat的配置部署：

kafka消息中间件

kafka介绍及作用

kafka集群的配置部署

zookeeper

zookeeper介绍

zookeeper配置部署

---

前言：

日志收集分析平台是一个集Linux运维，python开发的高难度web项目。其中用到nginx反向代理服务器，filebeat收集日志，kafka中间件集群负责业务解耦，zookeeper对kafka进行管理，然后将数据交由消费者清洗存入数据库，再用python开发出web服务平台提取数据库字符段进行数据的监控、报警等功能。

nignx

        nginx是一个高性能的HTTP和反向代理web服务器。反向代理的作用：提高访问速度，设置防火墙过滤使安全性更高，负载均衡，

Keepalived服务：

        主要有两大用途：heartbeat（高可用）&failover（健康检测）运用的是VRRP协议。双主模式，两台nginx代理服务器互为主备，实现资源高可用。

nginx的配置：

#配置文件修改
vim   nginx.conf

将 
   listen       80 default_server;
修改成：
   listen       80；

vim  /etc/nginx/conf.d/sc.conf

server {
    listen 80 default_server;
    server_name  www.sc.com;

    root         /usr/share/nginx/html;

    access_log  /var/log/nginx/sc/access.log main;

    location  / {

    }
}

filebeat

filebeat介绍：

        Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

　　Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

        filebeat结构：