filebeat7.10上传日志到ES7.14

filebeat版本：filebeat-7.10.0

版本：filebeat-7.10.0-linux-x86_64.tar.gz

filebeat7.10上传日志到ES7.14

1、下载filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-linux-x86_64.tar.gz

2、安装filebeat

tar -zxvf filebeat-7.10.0-linux-x86_64.tar.gz

3、配置文件filebeat.yml

#2023.10.26
filebeat.inputs:
  - type: log
    enabled: true
    # 日志路径
    paths:
      - /opt/casb/logs/*.log
    multiline.pattern: '^\d{4}[-|/]\d{2}[-|/]\d{2}'
    multiline.negate: true
    multiline.match: after

output.elasticsearch:
  hosts: "10.1.1.197:9200"
  protocol: "http"
  username: "elastic"
  password: "lianshi2020"
  index: "test-aoe-info-%{+yyyy.MM.dd}"
setup.ilm.enabled: false
setup.template.name: "test-info-log"
setup.template.pattern: "test-aoe-info-*"
setup.template.overwrite: true
setup.template.enabled: true

processors:
  - add_fields:
      target: sdk
      fields:
        id: "aoe-197-001"
        name: "aoe-197-001"
        resourceId: "test-aoe"
  - add_host_metadata:
      netinfo.enabeld: false

4、启动filebeat

./filebeat -e -c filebeat.yml

后台启动

nohup ./filebeat -e -c filebeat.yml &

5、kibana查看filebeat上传到ES的日志

5.1、添加索引模式

首页，点击discover进入页面，在kibana下选择"索引模式"

点击创建索引，输入名称，例如：test-aoe-info*，点击下一步

时间段选择”@timestamp“,然后点击创建索引模式

创建成功后，就可以在discover首页看到这个索引，并可查看和筛选日志了。

5.2、查看日志

遇到问题：

1、更新filebeat的配置文件(更改索引名称)后，重启filebeat并没有生效(ES的数据索引名称并未生成新的索引)

解决方法：停掉filebeat服务，然后删除filebeat工作目录，再重新启动。

 rm -rf ./data/registry/filebeat/

./filebeat -e -c filebeat.yml

参考：https://www.cnblogs.com/hahaha111122222/p/12076373.html