ELK(filebeat.yml配置)

背景:基于上篇我部署好filebeat之后,发现filebeat读取的数据都会打入到同一个索引下面

这种肯定不行的,最起码也要按照日期有区分,或者不同数据源也要有区分的,所以我对yml文件做了补充大家参考一下:

这里是分了两份数据源,每个数据源打上独有的标签“H001”或者“H002”

上面框住的三个配置是方便系统抛异常报错之后,很多行信息合并成一条log

下面框住的配置各有用处:

# 允许自动生成index模板
setup.template.enabled: true
# # 生成index模板时字段配置文件
setup.template.fields: fields.yml
# # 如果存在模块则覆盖
setup.template.overwrite: true
# # 生成index模板的名称
setup.template.name: "zheng_log" 
# # 生成index模板匹配的index格式       
setup.template.pattern: "zheng-*" 
setup.ilm.enabled: auto
# 这里一定要注意 会在alias后面自动添加-*
setup.ilm.rollover_alias: "park-ssm"
setup.ilm.pattern: "{now/d}"
# # 生成kibana中的index pattern,便于检索日志
#setup.dashboards.index: myfilebeat-7.0.0-*
#filebeat默认值为auto,创建的elasticsearch索引生命周期为50GB+30天。如果不改,可以不用设置
setup.ilm.enabled: false

根据filebeat读取的信息上面的“H001”或者“H002”打入不同的索引里面

推荐一个很细致的讲解:filebeat自定义索引名,filebeat索引模板 - 郭大侠1 - 博客园 (cnblogs.com)

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
您可以按照以下步骤在Docker中安装ELK(Elasticsearch, Logstash, Kibana)和Filebeat: 1. 首先,确保您已经安装了Docker和Docker Compose。 2. 创建一个文件夹来保存您的ELKFilebeat配置文件。在此文件夹中创建一个名为`docker-compose.yml`的文件。 3. 在`docker-compose.yml`文件中添加以下内容: ```yaml version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.10.1 container_name: elasticsearch ports: - 9200:9200 environment: - discovery.type=single-node logstash: image: docker.elastic.co/logstash/logstash:7.10.1 container_name: logstash volumes: - ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml - ./logstash/pipeline:/usr/share/logstash/pipeline kibana: image: docker.elastic.co/kibana/kibana:7.10.1 container_name: kibana ports: - 5601:5601 filebeat: image: docker.elastic.co/beats/filebeat:7.10.1 container_name: filebeat volumes: - ./filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml - /var/run/docker.sock:/var/run/docker.sock - /var/lib/docker/containers:/var/lib/docker/containers ``` 4. 创建一个名为`logstash.yml`的文件,并将以下内容添加到该文件中: ```yaml http.host: "0.0.0.0" path.config: /usr/share/logstash/pipeline ``` 5. 创建一个名为`filebeat.yml`的文件,并将以下内容添加到该文件中: ```yaml filebeat.inputs: - type: container paths: - '/var/lib/docker/containers/*/*.log' output.elasticsearch: hosts: ['elasticsearch:9200'] ``` 6. 创建一个名为`pipeline`的文件夹来保存Logstash的配置文件。 7. 在`pipeline`文件夹中创建一个名为`docker.conf`的文件,并将以下内容添加到该文件中: ```conf input { beats { port => 5044 } } output { elasticsearch { hosts => ["elasticsearch:9200"] index => "docker-%{+YYYY.MM.dd}" } } ``` 8. 确保您在`docker-compose.yml`文件和上述配置文件中的路径是正确的,并且所有的文件和文件夹都在同一个目录下。 9. 打开终端,导航到包含`docker-compose.yml`文件的目录,并运行以下命令启动ELKFilebeat
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值