日志管理进阶-成为elk与efk的“高富帅”

EFK日志收集

架构原理简图：

Elasticsearch: 数据库，存储数据 java

logstash: 日志收集，过滤数据 java

kibana: 分析，过滤，展示 java

filebeat: 收集日志，传输到ES或logstash，安装在应用服务器比如：Nginx， go 语言开发

filebeat官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/index.html

Redis：消息队列，大型公司，日志量大，要求响应快，先存在Redis再发到logstash

---

案例

提示：实验环境，为了节省虚拟机，只用两台，每台服务器安装多个应用，企业环境可分布式安装。

应用程序	IP及端口
elasticsearch	192.168.2.130:9200
kibana	192.168.2.130:5601
redis	192.168.2.130
filebeat、nginx	192.168.2.136

步骤：

elasticsearch

1、 安装elasticsearch
前提：jdk-1.8.0
复制elasticsearch-6.6.0.rpm到虚拟机
rpm -ivh elasticsearch-6.6.0.rpm

2、 修改配置文件
3、创建数据目录，并修改权限
4、分配锁定内存

5、启动服务
systemctl daemon-reload
systemctl start elasticsearch

---

安装kibana

（1）上传安装包
rpm -ivh kibana-6.6.0-x86_64.rpm

（2）修改配置文件
vim /etc/kibana/kibana.yml
修改：
server.port: 5601
server.host: “192.168.2.130”
server.name: “db01” #自己所在主机的主机名
elasticsearch.hosts: [“http://192.168.2.130:9200”] #es服务器的ip，便于接收日志数据
保存退出

（3）启动kibana
systemctl start kibana

日志过滤显示：只显示Ip是2.7的访问日志

kibana图表:
登录–左侧面板选择visualize–点击“+”号–选择图表类型–选择索引–Buckets–x-Axis–Aggregation(选择Terms)–
Field(remote_addr.keyword)–size(5)–点击上方三角标志