elk的安装部署三（kibana的安装及使用filebeat收集日志）

kibana的安装及使用filebeat收集日志

一、kibana的安装

1、kibana的概述

    Kibana是一个开源的分析与可视化平台，可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等，kibana能够很轻易地展示高级数据分析与可视化。

2、kibana下载安装

    Kibana可以安装在任意一台主机上，但是要能与elasticsearch集群通信。

   下载kibana:

]# wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-x86_64.rpm

    安装kibana:

]# rpm -ivh kibana-5.5.2-x86_64.rpm 
warning: kibana-5.5.2-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing...           ################################# [100%]
Updating / installing...
   1:kibana-5.5.2-1   ################################# [100%]

3、配置kibana

    Kibana的配置比较简单，主要配置的参数有当前主机的名称，elasticsearch主机的地址，登录时是如启用认证及用户名及密码。

    Kibana的配置文件为/etc/kibana/kibana.yml，我们需要修改的配置参数有：

server.host: "10.0.0.13"      #kibana所在主机的主机地址
server.name: "elk3"         #kibana坐在主机的主机名
elasticsearch.url: "http://10.0.0.11:9200"    #elasticsearch地址

    如果需要启用认证，还需要修改如下两项：

#elasticsearch.username: "user"
#elasticsearch.password: "pass"

4、启动kibana

    Kibana配置完成后就可以启动kibana，kibana启动后默认使用5601端口。

]# systemctl enable kibana.service
]# systemctl start kibana.service
]# systemctl status kibana
● kibana.service - Kibana
   Loaded: loaded (/etc/systemd/system/kibana.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2017-09-25 18:10:58 CST; 2h 27min left
 Main PID: 2401 (node)
   CGroup: /system.slice/kibana.service
           └─2401 /usr/share/kibana/bin/../node/bin/node --no-warnings /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml...

5、Kibana的简单使用

    Kibana启动成功后就可以通过浏览器登录使用kibana。第一次登录kibana时没有任何信息，需要根据elasticsearch中的索引创建索引。Kibana中的索引名支持通配符。

   我们在elasticsearch中创建过名称为“student”的索引（如果删除了，需重新创建），所以我们在kibana的输入框中输入“student”，然后点击“creeate”创建索引。

图一 创建索引

       创建完索引后，我们点击”Discover”菜单，就可以看到“student”索引中的相关数据，此时，还可以在搜索框中输入关键字对搜索相关的数据，如图二所示。

图二  搜索数据

     至此，kibana的安装配置完成。

一、安装filebeat及使用filebeat收集日志

1、filebeat的概述

     Filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息发送非elasticsearch或者logstarsh。

     Filebeat相对于logstash而言，更轻量级，占用系统资源少。

2、filebeat的下载安装

    Filebeat需要安装在收集日志的服务器上，即日志所在的服务器上，然后将所在服务器的指定日志发送给logstash或者elasticsearch。

]# Wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-x86_64.rpm
]# rpm -ivh filebeat-5.5.1-x86_64.rpm 
warning: filebeat-5.5.1-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:filebeat-5.5.1-1                 ################################# [100%]

3、配置filebeat将日志发送给elasticsearch

    Filebeat的配置文件为“/etc/filebeat/filebeat.yml”，主要的配置选项有配置需要收集的日志的位置，需要发送到的elasticsearch的地址或者logstash的地址。

     此处，以收集nginx的日志为例，将日志直接发送给elasticsearch，需要修改的配置项为：

  - /var/log/nginx/access.log           #需要收集的日志位置
   hosts: ["elk1:9200", "elk2:9200"]      #host配置为主机名时，当前节点要能解析主机名。此行配置为elasticsearch选项下的配置。

4、启动filebeat

     Filebeat启动后，filebeat会实时将配置文件中指定需要收集的日志发送给elasticsearch。

]# systemctl enable filebeat.service
]# systemctl start filebeat.service
]# systemctl status filebeat
● filebeat.service - filebeat
   Loaded: loaded (/usr/lib/systemd/system/filebeat.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2017-09-25 18:11:58 CST; 1h 30min left
     Docs: https://www.elastic.co/guide/en/beats/filebeat/current/index.html
 Main PID: 2227 (filebeat)
   CGroup: /system.slice/filebeat.service
           └─2227 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc...
Sep 25 18:11:58 elk3 systemd[1]: Started filebeat.
Sep 25 18:11:58 elk3 systemd[1]: Starting filebeat...

5、在kibana中创建filebeat的索引

     filebeat启动后，filebeat会实时的将日志发送到elasticsearch中，为了方便查看日志，需要在kibana中建立filebeat的索引，选择kibana的“Managenment”——》“Index Patterns”——》 Create Index Pattern”，在

    输入框中输入“filebeat-*”，点击“create”即可完成索引的创建。如图三所示。

图三 创建filebeat索引

     创建完成后在kibana界面的“Discover”中选择“filebeat-*”可查看filebeat发送过来的日志信息，如图四所示。

图四 filebeat收集的日志