elk+filebeat分布式日志收集

原创 2017年09月17日 16:25:49

  • 1.elk环境搭建
  • 2.filebeat程序安装
  • 3.filebeat配置修改
    • filebeat.yml修改如下
      # 监控日志文件地址
      paths:- d:/_tmp/log/*.log
      # 类型修改
      document_type: provider_log
      # 对于行不是以日期(格式如:2017-09-17 16:21:14.313)开头,都归到上一行
      multiline.pattern: ^\d{4}([-]\d{2}){2}\s\d{2}([:]\d{2}){2}[.]\d{3}
      multiline.negate: true
      multiline.match: after
      # 输出到logstash
      output.logstash:
        hosts: ["localhost:5044"]



  • 4.logstash配置如下:
    • 作用:先从每行日志中提取时间再放到@timestamp字段中
    • filelog.cfg的内容如下
      input {
      		beats  {
                    port => 5044
            }
      }
      filter {
          grok {
              match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
          }
          date {
              match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
              target => "@timestamp"
          }
      }
      output{
      	 stdout{
      		codec=>rubydebug{}
           }
      	 elasticsearch{
      		hosts=>["127.0.0.1:9200"] 
      		index => "test-%{[@metadata][type]}-%{+YYYY.MM.dd}"
      	 } 
      }

相关文章推荐

ELK日志分析系统-filebeat

  • 2017年10月19日 15:55
  • 8.05MB
  • 下载

ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台

什么要做日志分析平台? 随着业务量的增长,每天业务服务器将会产生上亿条的日志,单个日志文件达几个GB,这时我们发现用Linux自带工具,cat grep awk 分析越来越力不从心了...

ELK日志系统:Filebeat使用及Kibana如何设置登录认证

Filebeat is a lightweight, open source shipper for log file data. As the next-generation Logstash F...

ELK+Filebeat搭建实时日志分析平台

本文转自:https://www.zybuluo.com/dume2007/note/665868 ELK Stack 简介 ELK 不是一款软件,而是 Elasticsearch...

ELK+Filebeat 集中式日志解决方案详解

Google+用电子邮件发送本页面 ELK Stack 简介 ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三...
  • zoubf
  • zoubf
  • 2017年02月16日 10:09
  • 2446

24.ELK实时日志分析平台之Filebeat介绍及安装方法

介绍Filebeat及其安装方法。

ELK 5.0.1+Filebeat5.0.1 for LINUX RHEL6.6 监控MongoDB日志

ELK5.0.1for linux rhel6.6监控mongodb日志简单应用……

ELK日志处理之Filebeat工作原理

Filebeat简介、Filebeat和Logstash的对比、Filebeat工作原理、配置
  • napoay
  • napoay
  • 2017年04月18日 17:00
  • 3110

Filebeat 日志收集器 安装和配置

Filebeat 风来了.fox1.下载和安装https://www.elastic.co/downloads/beats/filebeat目前最新版本 1.3.0 这里选择 LINUX 64-B...
  • wljk506
  • wljk506
  • 2016年09月08日 11:38
  • 19462
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:elk+filebeat分布式日志收集
举报原因:
原因补充:

(最多只允许输入30个字)