kibana的安装及使用filebeat收集日志
一、kibana的安装
1、kibana的概述
Kibana是一个开源的分析与可视化平台,可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等,kibana能够很轻易地展示高级数据分析与可视化。
2、kibana下载安装
Kibana可以安装在任意一台主机上,但是要能与elasticsearch集群通信。
下载kibana:
- ]# wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-x86_64.rpm
安装kibana:
- ]# rpm -ivh kibana-5.5.2-x86_64.rpm
- warning: kibana-5.5.2-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
- Preparing... ################################# [100%]
- Updating / installing...
- 1:kibana-5.5.2-1 ################################# [100%]
3、配置kibana
Kibana的配置比较简单,主要配置的参数有当前主机的名称,elasticsearch主机的地址,登录时是如启用认证及用户名及密码。
Kibana的配置文件为/etc/kibana/kibana.yml,我们需要修改的配置参数有:
- server.host: "10.0.0.13" #kibana所在主机的主机地址
- server.name: "elk3" #kibana坐在主机的主机名
- elasticsearch.url: "http://10.0.0.11:9200" #elasticsearch地址
如果需要启用认证,还需要修改如下两项:
- #elasticsearch.username: "user"
- #elasticsearch.password: "pass"
4、启动kibana
Kibana配置完成后就可以启动kibana,kibana启动后默认使用5601端口。
- ]# systemctl enable kibana.service
- ]# systemctl start kibana.service
- ]# systemctl status kibana
- ● kibana.service - Kibana
- Loaded: loaded (/etc/systemd/system/kibana.service; disabled; vendor preset: disabled)
- Active: active (running) since Mon 2017-09-25 18:10:58 CST; 2h 27min left
- Main PID: 2401 (node)
- CGroup: /system.slice/kibana.service
- └─2401 /usr/share/kibana/bin/../node/bin/node --no-warnings /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml...
5、Kibana的简单使用
Kibana启动成功后就可以通过浏览器登录使用kibana。第一次登录kibana时没有任何信息,需要根据elasticsearch中的索引创建索引。Kibana中的索引名支持通配符。
我们在elasticsearch中创建过名称为“student”的索引(如果删除了,需重新创建),所以我们在kibana的输入框中输入“student”,然后点击“creeate”创建索引。
图一 创建索引
创建完索引后,我们点击”Discover”菜单,就可以看到“student”索引中的相关数据,此时,还可以在搜索框中输入关键字对搜索相关的数据,如图二所示。
图二 搜索数据
至此,kibana的安装配置完成。
一、安装filebeat及使用filebeat收集日志
1、filebeat的概述
Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息发送非elasticsearch或者logstarsh。
Filebeat相对于logstash而言,更轻量级,占用系统资源少。
2、filebeat的下载安装
Filebeat需要安装在收集日志的服务器上,即日志所在的服务器上,然后将所在服务器的指定日志发送给logstash或者elasticsearch。
- ]# Wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-x86_64.rpm
- ]# rpm -ivh filebeat-5.5.1-x86_64.rpm
- warning: filebeat-5.5.1-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
- Preparing... ################################# [100%]
- Updating / installing...
- 1:filebeat-5.5.1-1 ################################# [100%]
3、配置filebeat将日志发送给elasticsearch
Filebeat的配置文件为“/etc/filebeat/filebeat.yml”,主要的配置选项有配置需要收集的日志的位置,需要发送到的elasticsearch的地址或者logstash的地址。
此处,以收集nginx的日志为例,将日志直接发送给elasticsearch,需要修改的配置项为:
- - /var/log/nginx/access.log #需要收集的日志位置
- hosts: ["elk1:9200", "elk2:9200"] #host配置为主机名时,当前节点要能解析主机名。此行配置为elasticsearch选项下的配置。
4、启动filebeat
Filebeat启动后,filebeat会实时将配置文件中指定需要收集的日志发送给elasticsearch。
- ]# systemctl enable filebeat.service
- ]# systemctl start filebeat.service
- ]# systemctl status filebeat
- ● filebeat.service - filebeat
- Loaded: loaded (/usr/lib/systemd/system/filebeat.service; disabled; vendor preset: disabled)
- Active: active (running) since Mon 2017-09-25 18:11:58 CST; 1h 30min left
- Docs: https://www.elastic.co/guide/en/beats/filebeat/current/index.html
- Main PID: 2227 (filebeat)
- CGroup: /system.slice/filebeat.service
- └─2227 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc...
- Sep 25 18:11:58 elk3 systemd[1]: Started filebeat.
- Sep 25 18:11:58 elk3 systemd[1]: Starting filebeat...
5、在kibana中创建filebeat的索引
filebeat启动后,filebeat会实时的将日志发送到elasticsearch中,为了方便查看日志,需要在kibana中建立filebeat的索引,选择kibana的“Managenment”——》“Index Patterns”——》 Create Index Pattern”,在
输入框中输入“filebeat-*”,点击“create”即可完成索引的创建。如图三所示。
图三 创建filebeat索引
创建完成后在kibana界面的“Discover”中选择“filebeat-*”可查看filebeat发送过来的日志信息,如图四所示。
图四 filebeat收集的日志
转载至https://blog.csdn.net/dayi_123/article/details/78167227