linux下搭建log收集平台filebeat+elasticsearch+kibana

1、安装包下载：

下载地址：  Elastic中文社区 ，filebeat，elasticsearch，kibana下载并上传至服务器

下载安装包为tar.gz。解压 tar -xzvf file.tar.gz

2、filebeat

修改配置文件：filebeat.yml

 如果不需要es副本，需添加：

配置es地址：

 filebeat默认创建的es索引field很多，不需要的可以在配置中做屏蔽

启动filebeat：

后台启动，增加disown参数，确保当前连接断开时filebeat进程不被kill

3、es 安装

es安装教程很多，大家自行找吧。es不能由root用户启动，最好创建单独用户及用户组

4、kibana安装

修改配置文件kibana/config/kibana.yml。修改server.host: "0.0.0.0", 配置es地址。

nohup ./bin/kibana &

 在kibana--stack management-data view可添加es索引

因为Logstash运行占用资源较多，项目预算有限，所以没有选择Logstash做数据处理。filebeat满足简单需求还是可以的。后续也可以考虑直接从filebeat写到kafka，从kafka消费对log做更加贴合业务的处理。