mysql logstash 配置

原创 2016年08月30日 21:02:56
[elk@dr-mysql01 mysql]$ cat logstash_mysql.conf
input {
        file {
                type => "zj_mysql"
                path => ["/data01/applog_backup/zjzc_log/zj-mysql01-slowlog.*"]
                 codec => multiline {
      pattern => "^\s+#\s+User@Host:"
      negate => true
      what => "previous"
    }

        }
    
       file { 
                type => "wj_mysql" 
                path => ["/data01/applog_backup/winfae_log/wj-mysql01-slowlog.*"] 
                 codec => multiline {
      pattern => "^\s+#\s+User@Host:"
      negate => true
      what => "previous"
    }

        } 
        

    }

filter {
  # drop sleep events
  grok {
    match => { "message" => "SELECT SLEEP" }
    add_tag => [ "sleep_drop" ]
    tag_on_failure => [] # prevent default _grokparsefailure tag on real records
  }
  if "sleep_drop" in [tags] {
    drop {}
  }
  grok {
    match => [ "message","(?m)\s*# User@Host:\s+\S+\[%{USER:user}\]\s+@\s+\[%{IP:clientip}\]\s+(?<id>(\S+\s+)*\S+)\s*#\s+Query_time:\s+%{NUMBER:Query_time}\s+Lock_time: %{NUMBER:lock_time}\s+Rows_sent: %{NUMBER:rows_sent}\s+Rows_examined: %{NUMBER:rows_examined}\s*
\s*SET\s+timestamp=%{NUMBER:timestamp};\s*(?<query>(\s*\S+\s*).*)\s*" 
]
  }
  date {
    match => [ "timestamp", "UNIX" ]
    remove_field => [ "timestamp" ]
  }
}
output {
     if [type] == "zj_mysql" { 
        redis {
                host => "192.168.32.67"
                data_type => "list"
                key => "zj_mysql:redis"
                port=>"6379"
                password => "1234567"
        }
}
      else if [type] == "wj_mysql"{
       redis { 
                host => "192.168.32.67" 
                data_type => "list" 
                key => "wj_mysql:redis" 
                port=>"6379" 
                password => "1234567" 
        } 
}
}

相关文章推荐

logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

引言:elasticsearch 的出现使得我们的存储、检索数据更快捷、方便。但很多情况下,我们的需求是:现在的数据存储在mysql、oracle等关系型传统数据库中,如何尽量不改变原有数据库表结构,...

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

logstash-input-jdbc安装超痛苦,专门写了一篇文章发出来 使大家安装的时候不用那么费劲。 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介...
  • yeyuma
  • yeyuma
  • 2015年12月09日 19:49
  • 19512

logstash同步mysql数据,多表同步配制

input {     stdin {     }     jdbc {       # mysql jdbc connection string to our backup databse ...

elasticsearch5.2.1使用logstash同步mysql

首先安装好mysql,elasticsearch参考另一篇文章 安装logstash 官方:https://www.elastic.co/guide/en/logstash/current/insta...

Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库

Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.logst...
  • wljk506
  • wljk506
  • 2017年02月24日 10:00
  • 2702

logstash-output-mongodb实现Mysql到Mongodb数据同步

本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。0、前提1)已经安装好...

Logstash实时同步mysql数据库至elastic

shipper文件中的主要目标,定时刷新最新有变更的(依据update_date)数据至elastic,初始时直接插入,elastic检测到id相同时,则更新自有的数据。...

Logstash实践之MySQL Slowlog解析

Logstash实践之MySQL Slowlog解析

ELK采集Mysql、Oracle配置

进入这篇文章的人默认是已经搭建好ELK的日志平台一、概述1、日志有什么用?日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mysql logstash 配置
举报原因:
原因补充:

(最多只允许输入30个字)