EFK(Elasticsearsh+Filebeat+Kibana)——分布式日志收集系统(一)之安装与部署

本文链接：https://blog.csdn.net/Keyuchen_01/article/details/108654588

0 说明

本次EFK分布式日志收集系统节点安排如下：

主机名	主机ip	部署情况
chen-1	192.168.218.100	Elasticsearsh Logstash Filebeat Namenode ResourceManager ZK
chen-2	192.168.218.101	Elasticsearsh SecondaryNamenode Datanode Nodemanager ZK
chen-3	192.168.218.102	Elasticsearsh Datanode Nodemanager ZK
chen-4	192.168.218.103	Kibana Datanode Nodemanager
chen-5	192.168.218.104	Datanode Nodemanager

Filebeat和Logstash都具有日志采集功能，不同的是Filebeat是轻量级的，Logstash运行在JVM上，但其功能更强大。本文采用Filebeat+Logstash方式采集日志。

EFK各组件之间对版本比较敏感，在安装部署时，一定要保证版本一直，至少保证大版本一致。本文采用的版本是6.6.2的版本

1 EFK介绍

EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana , 其中ELasticsearch负责日志保存和搜索，FileBeat负责收集日志，Kibana 负责界面,当然EFK和大名鼎鼎的ELK只有一个区别，那就是EFK把ELK的Logstash替换成了FileBeat，因为Filebeat相对于Logstash来说有2个好处：
1、侵入低，无需修改程序目前任何代码和配置
2、相对于Logstash来说性能高，Logstash对于IO占用很大
当然FileBeat也并不是完全好过Logstash，毕竟Logstash对于日志的格式化这些相对FileBeat好很多，FileBeat只是将日志从日志文件中读取出来，当然如果你日志本身是有一定格式的，FileBeat也可以格式化，但是相对于Logstash来说，还是差一点。

2 组件介绍

2.1 Elasticsearch

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

2.2 FileBeat

Filebeat隶属于Beats。目前Beats包含六种工具：
Packetbeat（搜集网络流量数据）
Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集 Windows 事件日志数据）
Auditbeat（轻量型审计日志采集器）
Heartbeat（轻量级服务器健康采集器）

2.3 Kibana

Kibana可以为 Logstash 、Beats和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

3 EFK架构图

在这里插入图片描述

4 安装部署EFK

1）安装JDK，必须是jdk8以上的版本，因为elastisearch6.6.2要求jdk8以上。
2）安装ES
集群：192.168.218.100/101/102
官网下载地址：https://www.elastic.co/cn/downloads/
解压文件，并进入配置目录
打开config目录下的elasticsearch.yml文件
在这里插入图片描述

注意ES不能用root账户启动，新建账户useradd chen-es
并设置密码,passwd chen-es 设置完成后用root账户给chen-es授权，让其可以访问到ES的相关目录。chown –R chen-es:chen-es /root/apps/elastisearch-6.6.2
切换到chen-es用户，启动ES
./bin/elasticsearch –d –d表示静默模式启动
此时访问页面192.168.218.100:9200可看到下面页面，这表示ES安装成功。
在这里插入图片描述
将elasticsearch-6.6.2拷贝到需要部署ES的其他机器上，修改配置文件，配置文件只需修改节点名称、ip地址

在这里插入图片描述
3）安装Kibana
服务器：192.168.218.103
官网：https://www.elastic.co/cn/downloads/kibana 下载对应的版本，注意EFK的版本要一致，我采用的6.6.2版本的EFK
下载并解压进入config目录，打开kibana.yml配置文件

添加以下配置，或者注释掉

# 本节点访问端口
server.port: 5601 
# 本节点IP
server.host: "192.168.218.103" 
# 本节点名字
server.name: "chen-4" 
# elasticsearch集群IP
elasticsearch.hosts: ["http://192.168.218.100:9200",
                      "http://192.168.218.101:9200",
                      "http://192.168.218.102:9200"]

其中elasticsearch.hosts为Elasticsearch集群的地址，server.host默认是localhost，如果只是本地访问可以默认localhost，如果需要外网访问，可以设置为0.0.0.0

在这里插入图片描述
启动Kibana

看到如下监听端口则表示，kibana安装成功

访问页面192.168.218.103:5601，可看到如下页面
选择使用简单例子添加

在这里插入图片描述
点击查看创建的视图

可以根据国家和windows版本的不同选择，看到不同的视图

查看ES索引

可以使用开发工具进行一些相关查询

4）安装Filebeat
安装服务器：192.168.218.100
https://www.elastic.co/cn/downloads/beats/filebeat
下载并解压
进入主目录，修改配置

在这里插入图片描述
打开filebeat.yml配置文件，并进行相应的参数修改

filebeat.inputs:
- type: log
  enabled: true
  backoff: "1s"
  tail_files: false
  paths:
    - /usr/local/nginx/logs/access.log
  
output.console:
  enabled: true

配置一定要注意格式，是以2个空格为子级，里面的配置都在配置文件中，列出来的只是要修改的部分，enabled默认为false，需要改成true才会收集日志。其中/var/xxx/*.log修改为自己的日志路径，注意-后面有一个空格，
如果多个路径则添加一行，一定要注意新行前面的4个空格，multiline开头的几个配置取消注释就行了，是为了兼容多行日志的情况，setup.kibana中的host取消注释，根据实际情况配置地址，output.elasticsearch中的host也一样，根据实际情况配置

backoff:设定多长时间检查文件更新。
tail_files:如果设置为true，则Filebeat将在每个文件的末尾而不是开头读取新文件。
当此选项与日志轮换结合使用时，可能会跳过新文件中的第一个日志条目。
output.console表示把输出内容打印到面板上在这里插入图片描述

启动filebeat: