ly4983的专栏

于.sincedb_234534534sdfgsfd23，<path.data>为logstash的插件存储目录默认是LOGSTASH_HOME/data实验一：本机/var/log/secure为输入日志，标准输出。nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/2logstash-1.conf &4.查看。**********************************************实验四：读取tcp网络数据。

Kibana是一个基于浏览器的开源可视化工具，主要用于分析大量日志，以折线图、条形图、饼图、热图、区域图、坐标图、仪表、目标、时间等形式。预测或查看输入源的错误或其他重大事件趋势的变化。Kibana 与 Elasticsearch 和 Logstash 同步工作，它们共同构成了所谓的ELKstack.

Logstash是具有实时流水线能力的开源的数据收集引擎。Logstash可以动态统一不同来源的数据，并将数据标准化到您选择的目标输出。它提供了大量插件，可帮助我们解析，丰富，转换和缓冲任何类型的数据。管道（Logstash Pipeline）是Logstash中独立的运行单元，每个管道都包含两个必须的元素输入（input）和输出（output），和一个可选的元素过滤器（filter），事件处理管道负责协调它们的执行。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka [1]是一种高吞吐量[2]的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 [2]：即使是非常普通的硬件Kafka也可以支持每秒数百万 [2]的消息。

除了配置zoo.cfg文件外，zookeeper的集群还需要配置一个文件myid，需要手动创建，放到dataDir的目录下，主要用于区分集。由于我是cd进入到/usr/local/zookeeper/bin/ 下启动的zookeeper，日志在此目录。9283 QuorumPeerMain #为zookeeper的java标识。在其他位置启动zookeeper，日志业务对应在其他目录。配置环境变量，为了方便zkServer.sh的启动。群的服务器，文件内部为1或2或3，与。

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口操作ES，也可以利用Java API。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

logstash 也可以收集日志，但是数据量大时太消耗系统新能。而filebeat是轻量级的，占用系统资源极少。

接收filebeat的日志，进行队列及缓存，kafka使用集群的方式搭建，避免了filebeat直接向logstash传送的拥塞及日志丢失。zookeeper集群：10.10.10.71-73 /usr/local/zookeeper。kafka集群：10.10.10.71-73 /usr/local/kafka。简称es，存储logstash处理过的日志信息，采用集群的方式搭建。主动抓取kafka的日志信息，对日志进行过滤，分析，处理等操作。图形化的方式展示es的数据信息。二、IP地址及服务器规划。