filebeat多个日志输出多条索引

vim filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /opt/zcsy/hbase/logs/hbase-hadoop-regionserver-cd-zcsy-164.log
  fields: 
    source: "hbase-hadoop-regionserver-cd-zcsy"	#创建第一个源数据区域
  include_lines: '([eE][rR]{2}[Oo][Rr])'
  paths:
    - /opt/zcsy/hadoop/logs/hadoop-hadoop-journalnode-cd-zcsy-164.log
  fields:					#tags: ["xxx"]/type: xxx,在此用的是附件标识
    source: "hadoop-hadoop-journalnode-cd-zcsy"	#创建第二个源数据区域
  include_lines: '([eE][rR]{2}[Oo][Rr])'
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
setup.template.name: "*-cd-zcsy-164"		#设置模版
setup.template.pattern: "*-cd-zcsy-164-*"
setup.template.overwrite: true
setup.template.enabled: true
setup.ilm.enabled: false				#filebeat自定义索引需要关闭
output.elasticsearch :
  hosts: ["172.25.11.182:9200"]
  index: "%{[fields.source]}-164-%{+yyyy.MM.dd}"	#调用领域
  indices:			#指数
    - index: "hbase-hadoop-regionserver-cd-zcsy-164-%{+yyyy.MM.dd}"
      when.equals: 	#判断,当..等于
        fields: 		#支持多种条件(fields.type: xxx),(fields.tags: "xxx")
          source: "hbase-hadoop-regionserver-cd-zcsy"
    - index: "hadoop-hadoop-journalnode-cd-zcsy-164-%{+yyyy.MM.dd}"
      when.equals:
        fields:
          source: "hadoop-hadoop-journalnode-cd-zcsy"
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,这是一个比较常见的问题,一般的解决方案如下: 1. 首先,在filebeat的配置文件中进行多文件配置。例如,你可以使用如下的配置: filebeat.prospectors: - paths: - /var/log/logfile1.log - /var/log/logfile2.log - /var/log/logfile3.log input_type: log fields: log_type: logfile1 - paths: - /var/log/logfile4.log - /var/log/logfile5.log - /var/log/logfile6.log input_type: log fields: log_type: logfile2 这个配置文件会将三个文件(/var/log/logfile1.log, /var/log/logfile2.log, /var/log/logfile3.log)认为是一类,将三个文件(/var/log/logfile4.log, /var/log/logfile5.log, /var/log/logfile6.log)认为是另外一类,其中 fields 中的值可以任意指定,主要是为了在 logstash 中区分不同的日志类型。 2. 在logstash中进行判断。在logstash的配置文件中,我们可以使用条件语句来判断哪些日志属于哪个索引,例如: input { beats { port => 5044 } } filter { if [fields][log_type] == "logfile1" { mutate { add_field => {"[@metadata][index]" => "logstash-logfile1-%{+YYYY.MM.dd}"} } } else if [fields][log_type] == "logfile2" { mutate { add_field => {"[@metadata][index]" => "logstash-logfile2-%{+YYYY.MM.dd}"} } } else { drop {} } } output { elasticsearch { hosts => ["localhost:9200"] index => "%{[@metadata][index]}" } } 这个配置文件会根据 fields 中的值判断哪些日志应该属于哪个索引,并将它们输出到对应的索引中。 希望这个回答可以帮到你!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值