ELK+filebeat 7.8.0版本组件介绍和下载步骤

ELK+filebeat 7.8.0

 

组件介绍：

ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志

特点：分布式，零配置，自动发现，索引自动分片，索引副本机制等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 在elasticsearch集群中，所有节点的数据是均等的。

Logstash:

日志加工、搬运工

 Logstash是一个完全开源工具，可以对你的日志进行收集、过滤、分析，并将其存储供以后使用（如，搜索）（交给es集群），logstash带有一个web界面，搜索和展示所有日志。 只收集和过滤日志（通过过滤关键字）,和收集到后可改日志格式（更直观）

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

logstash整个工作流分为三个阶段：输入、过滤、输出。每个阶段都有强大的插件提供支持：

Input （必须），设置数据来源

Filter（可选），负责数据处理与转换

output（必须），负责数据输出

 

Kibana:

Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮你汇总、分析和搜索重要数据日志。

 

Kafka：

数据缓冲队列。同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper（保证各个节点的一致性）协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

Kafka的特性:

• 高吞吐量：kafka每秒可以处理几十万条消息。

• 可扩展性：kafka集群支持热扩展- 持久性、

• 可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失

• 容错性：允许集群中节点失败（若副本数量为n（所有的topic都是副本）,则允许n-1个节点失败）

• 高并发：支持数千个客户端同时读写

 

zookeeper:

ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、分布式同步等。Kafka的运行依赖ZooKeeper。

ZooKeeper用于分布式系统的协调，Kafka使用ZooKeeper也是基于相同的原因。ZooKeeper主要用来协调Kafka的各个broker，不仅可以实现broker的负载均衡，而且当增加了broker或者某个broker故障了，ZooKeeper将会通知生产者和消费者，这样可以保证整个系统正常运转。

在Kafka中,一个topic会被分成多个区并被分到多个broker（kafka集群）上，分区的信息以及broker的分布情况与消费者当前消费的状态信息都会保存在ZooKeeper中。

 

Filebeat：

隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择,目前Beats包含四种工具：

• 1.Packetbeat（搜集网络流量数据）

• 2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。）

• 3.Filebeat（搜集文件数据）

• 4.Winlogbeat（搜集 Windows 日志数据）

为什么用 Filebeat ，而不用原来的 Logstash 呢？

原因很简单，资源消耗比较大。

由于 Logstash 是跑在 JVM 上面，资源消耗比较大，后来作者用 GO 写了一个功能较少但是资源消耗也小的轻量级的 Agent 叫 Logstash-forwarder。后来作者加入 elastic.co 公司， Logstash-forwarder 的开发工作给公司内部 GO 团队来搞，最后命名为 Filebeat。

Filebeat 需要部署在每台应用服务器上。

 

版本说明：

--版本要一致：

Elasticsearch:  7.8.0

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

Logstash:  7.8.0

https://artifacts.elastic.co/downloads/logstash/logstash-7.8.0.tar.gz

Kibana:  7.8.0

https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-linux-x86_64.tar.gz

Filebeat:  7.8.0

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-linux-x86_64.tar.gz

 

官网地址：https://www.elastic.co

步骤：

7.8.0版本软件下载