Windows下日志搜集系统EFK的初步尝试
业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。
文中涉及的 ELK stack 版本是:
Elasticsearch 7.6
Logstash 7.6 (这里不用)
Kibana 7.6
Filebeat 7.6
安装
从elastic官网下载各个组件最新版本,地址为
kibana-7.6.2
elasticsearch-7.6.2
filebeat-7.6.2
下载解压
配置运行
修改elasticserach.yml配置文件
- network.host: 0.0.0.0 (方便测试配置为0.0.0.0需要配置discovery.type为single-node )
- discovery.type: single-node
> .\bin\elasticsearch.bat
修改kibana.yml配置文件
- server.host: "0.0.0.0"
> .\bin\kibana.bat
配置filebeat.yml
在需要采集日志的机器上安装filebeat
-
配置input
filebeat.inputs: - type: log enabled: true paths: - C:\Users\AppData\Roaming\xxx\*.log tags: ["animation"] fields: source: animation - type: log enabled: true paths: - C:\Users\AppData\Roaming\yyy\*.log tags: ["picture"] fields: source: picture
-
配置output
output.elasticsearch: hosts: ["192.168.0.1:9200"] index: "renderbus-log-%{[fields.source]}-*" indices: - index: "log-animation-%{+yyyy.MM.dd}" when.equals: fields: source: "animation" - index: "log-picture-%{+yyyy.MM.dd}" when.equals: fields: source: "picture" #output.logstash: # use logstash #hosts: ["192.168.0.1:5044"]
-
配置kibana
setup.kibana: host: "192.168.0.1:5601"
-
配置模板
setup.template.name: "renderbus-log" setup.template.pattern: 'renderbus-log-*' setup.template.enabled: true setup.template.overwrite: true
-
配置索引生命周期管理(7.6需要)(ilm => index-lifecycle-management)
setup.ilm.enabled: false
-
.\filebeat.exe -e
查看
浏览器访问 http://192.168.0.1:5601
Management > Index patterns > Create index pattern > …
参考引用
elastic-stack
Elasticsearch Reference
Kibana Guide
Filebeat Reference
filebeat-input-log
从ELK到EFK,日志系统的高级玩法儿
Kibana Tutorial
Filebeat自定义索引 && 多output过滤
Adding more fields to Filebeat