PHP慢日志 ELK+FileBeat收集

10 篇文章 0 订阅
7 篇文章 0 订阅

本文主要讲述的是php慢日志收集至elasticsearch


收集流程:



本文不提供安装教程

主要配置:


Filebeat配置

filebeat 涉及多行配置所以要使用 multiline

pattern:正则表达式

negate:true 或 false;默认是false,匹配pattern的行合并到上一行;true,不匹配pattern的行合并到上一行

match:after 或 before,合并到上一行的末尾或开头

filebeat.prospectors:
- input_type: log
  paths:
	# 慢日志路径
- /usr/local/php-5.3.27/var/log/pregnancy.log.slow
# 多行匹配规则
# 匹配 [数字数字 格式开头的行
  multiline.pattern: '\[[0-9]{2}'
  multiline.negate: true		
  multiline.match: after
  tail_files: true

output.kafka:
    hosts: ["192.168.99.253:9092"]
    topic: "php-slow-log"		# kafka队列会自动生成
    compression: gzip

logstash配置

input {
    kafka {
        zk_connect          => "192.168.99.210:2181"
        topic_id            => "php-slow-log"
        group_id            => "logstash18"
        consumer_threads    => "8"
    }
}

filter {
    grok {
        match => {
            "message" => "^\[%{DATA:time_local}\].*?script_filename\s+=\s+%{DATA:script_filename}\n%{GREEDYDATA:msg}"
        }
        add_field => {'hostname' => "%{[beat][hostname]}"}
        remove_field => ['type','_id','input_type','tags','message','beat','offset']
    }
}

    elasticsearch {
        hosts => ["192.168.99.11:9200"]
        index => "php-slow-log-%{+YYYY.MM.dd}"
    }

}

ElasticSearch

可以在插件中检查索引是否生成


kibana添加响应的索引


  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值