Windows下日志搜集系统EFK的初步尝试

Windows下日志搜集系统EFK的初步尝试

业界通用的日志数据管理解决方案 - 它主要包括 Elasticsearch 、 Logstash 和 Kibana 三个系统。
文中涉及的 ELK stack 版本是：
Elasticsearch 7.6
Logstash 7.6 （这里不用）
Kibana 7.6
Filebeat 7.6

安装

从elastic官网下载各个组件最新版本，地址为
kibana-7.6.2
elasticsearch-7.6.2
filebeat-7.6.2

下载解压

配置运行

修改elasticserach.yml配置文件

- network.host: 0.0.0.0 （方便测试配置为0.0.0.0需要配置discovery.type为single-node ）
- discovery.type: single-node 
> .\bin\elasticsearch.bat

修改kibana.yml配置文件

- server.host: "0.0.0.0"
> .\bin\kibana.bat

配置filebeat.yml

在需要采集日志的机器上安装filebeat

1. 配置input

    filebeat.inputs:
    - type: log
    	  enabled: true
    	  paths:
    	    - C:\Users\AppData\Roaming\xxx\*.log
    	  tags: ["animation"]
    	  fields:
    	    source: animation
    - type: log
    	  enabled: true
    	  paths:
    	    - C:\Users\AppData\Roaming\yyy\*.log
    	  tags: ["picture"]
    	  fields:
    	    source: picture
   

2. 配置output

   output.elasticsearch:
      hosts: ["192.168.0.1:9200"]
      index: "renderbus-log-%{[fields.source]}-*"
      indices:
        - index: "log-animation-%{+yyyy.MM.dd}"
          when.equals:
            fields:
              source: "animation"
        - index: "log-picture-%{+yyyy.MM.dd}"
          when.equals:
            fields:
              source: "picture"
              
    #output.logstash: # use logstash
      #hosts: ["192.168.0.1:5044"]
   

3. 配置kibana

    setup.kibana:
      host: "192.168.0.1:5601"
   

4. 配置模板

    	setup.template.name: "renderbus-log"
    	setup.template.pattern: 'renderbus-log-*'
    	setup.template.enabled: true
    	setup.template.overwrite: true
   

5. 配置索引生命周期管理(7.6需要)（ilm => index-lifecycle-management）

    setup.ilm.enabled: false
   

6. .\filebeat.exe -e

查看

浏览器访问 http://192.168.0.1:5601

Management > Index patterns > Create index pattern > …

参考引用

elastic-stack
Elasticsearch Reference
Kibana Guide
Filebeat Reference
filebeat-input-log
从ELK到EFK，日志系统的高级玩法儿
Kibana Tutorial
Filebeat自定义索引 && 多output过滤
Adding more fields to Filebeat