mysql logstash 配置

原创 2016年08月30日 21:02:56
[elk@dr-mysql01 mysql]$ cat logstash_mysql.conf
input {
        file {
                type => "zj_mysql"
                path => ["/data01/applog_backup/zjzc_log/zj-mysql01-slowlog.*"]
                 codec => multiline {
      pattern => "^\s+#\s+User@Host:"
      negate => true
      what => "previous"
    }

        }
    
       file { 
                type => "wj_mysql" 
                path => ["/data01/applog_backup/winfae_log/wj-mysql01-slowlog.*"] 
                 codec => multiline {
      pattern => "^\s+#\s+User@Host:"
      negate => true
      what => "previous"
    }

        } 
        

    }

filter {
  # drop sleep events
  grok {
    match => { "message" => "SELECT SLEEP" }
    add_tag => [ "sleep_drop" ]
    tag_on_failure => [] # prevent default _grokparsefailure tag on real records
  }
  if "sleep_drop" in [tags] {
    drop {}
  }
  grok {
    match => [ "message","(?m)\s*# User@Host:\s+\S+\[%{USER:user}\]\s+@\s+\[%{IP:clientip}\]\s+(?<id>(\S+\s+)*\S+)\s*#\s+Query_time:\s+%{NUMBER:Query_time}\s+Lock_time: %{NUMBER:lock_time}\s+Rows_sent: %{NUMBER:rows_sent}\s+Rows_examined: %{NUMBER:rows_examined}\s*
\s*SET\s+timestamp=%{NUMBER:timestamp};\s*(?<query>(\s*\S+\s*).*)\s*" 
]
  }
  date {
    match => [ "timestamp", "UNIX" ]
    remove_field => [ "timestamp" ]
  }
}
output {
     if [type] == "zj_mysql" { 
        redis {
                host => "192.168.32.67"
                data_type => "list"
                key => "zj_mysql:redis"
                port=>"6379"
                password => "1234567"
        }
}
      else if [type] == "wj_mysql"{
       redis { 
                host => "192.168.32.67" 
                data_type => "list" 
                key => "wj_mysql:redis" 
                port=>"6379" 
                password => "1234567" 
        } 
}
}

Logstash实时同步mysql数据库至elastic

shipper文件中的主要目标,定时刷新最新有变更的(依据update_date)数据至elastic,初始时直接插入,elastic检测到id相同时,则更新自有的数据。...
  • xiaohelong2005
  • xiaohelong2005
  • 2017年05月09日 15:55
  • 2684

Logstash安装配置

阅读此文请先阅读上文:[大数据]-Elasticsearch5.3.1 IK分词,同义词/联想搜索设置,前面介绍了ES,Kibana5.3.1的安装配置,以及IK分词的安装和同义词设置,这里主要记录L...
  • opera95
  • opera95
  • 2017年09月05日 19:14
  • 447

logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

引言:elasticsearch 的出现使得我们的存储、检索数据更快捷、方便。但很多情况下,我们的需求是:现在的数据存储在mysql、oracle等关系型传统数据库中,如何尽量不改变原有数据库表结构,...
  • wojiushiwo987
  • wojiushiwo987
  • 2016年06月23日 22:39
  • 25889

利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍

logstash-input-jdbc安装超痛苦,专门写了一篇文章发出来 使大家安装的时候不用那么费劲。 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介...
  • yeyuma
  • yeyuma
  • 2015年12月09日 19:49
  • 24799

logstash-output-mongodb实现Mysql到Mongodb数据同步

本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。0、前提1)已经安装好...
  • wojiushiwo987
  • wojiushiwo987
  • 2017年03月23日 21:02
  • 4224

logstash多个mysql的input导出到多个output

input { jdbc { jdbc_driver_library => "mysql-connector-java-5.1.33-bin.jar" jdbc_dri...
  • lilongsy
  • lilongsy
  • 2017年10月19日 11:54
  • 603

Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库

Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.logst...
  • wljk506
  • wljk506
  • 2017年02月24日 10:00
  • 3947

使用Logstash-input-jdbc同步数据库中的数据(全量 和 增量)

1、数据同步方式 全量同步与增量同步 全量同步是指全部将数据同步到es,通常是刚建立es,第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。 2、常用的一些ES同步方法...
  • opera95
  • opera95
  • 2017年11月16日 17:45
  • 670

logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apach...
  • alan_liuyue
  • alan_liuyue
  • 2017年11月05日 11:41
  • 264

logstash 通过mysql 慢日志了解(?m)

# User@Host: zjzc_app[zjzc_app] @ [10.171.243.55] Id: 1621705 # Query_time: 10.666552 Lock_time: ...
  • zhaoyangjian724
  • zhaoyangjian724
  • 2016年10月13日 14:07
  • 832
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:mysql logstash 配置
举报原因:
原因补充:

(最多只允许输入30个字)