日志收集分析平台03（服务测试环节）

目录

前言

nginx

filebeat 

 zookeeper

kafka

 拓展知识

nignx：

filebeat：

kafka：

zookeeper：

其他中间件：

其他日志技术栈：

项目架构图：

---

前言

敲重点：为什么要搭建这个服务系统！
        一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。
        一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
一个完整的集中式日志系统，需要包含以下几个主要特点：
①收集－能够采集多种来源的日志数据
②传输－能够稳定的把日志数据传输到中央系统
③存储－如何存储日志数据
④分析－可以支持 UI 分析
⑤警告－能够提供错误报告，监控机制
把nginx+filebeat+kafka+zookeeper这几个软件整合到一起，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。

nginx

        nginx收到访问客户端请求，并把访问日志数据存入配置后的指定路径下，如图

filebeat 

        Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到kafka集群，很明显监听的正是/var/log/nginx/sc/access.log目录。而output输出也是指定了kafka集群的主机ip地址和开放端口，并且指定了topic