Logstash 将ES数据导入数据库

Logstash 将ES数据导入数据库

Logstash 7.2.0

1、logstash-output-jdbc安装

2、问题梳理

3、conf文件

1、logstash-output-jdbc安装

/opt/logstash/bin/logstash-plugin install logstash-output-jdbc

2、问题梳理

a、日期字段格式转换问题

b、es日期与我们要的日期时差问题，日期加减

这两个问题output-jdbc确实不好解决，不过把这两问题放在filter里就比较简单了

日期字段格式转换：

   date {
    match => [ "timestamp" , "YYYY-MM-dd'T'HH:mm:ss.SSS'Z'" ]
	timezone => "Asia/Shanghai"
	target => "timestamp"
  }

es日期与我们要的日期时差问题，es的日期本身差了8个小时，再上一步的转换时，又差了8个小时，所以，我们要的日期是上面的日期再加上16个小时

  ruby {   
   		code => "event.set('timestamp', event.get('timestamp').time.localtime + 16*60*60)"   
 	}

3、conf文件

以es导入MySQL为例

input {
  elasticsearch {
        hosts => "hostname"
        index => "ping-min-2019-11-08"
        size => 5000
		user => "username"
		password => "password"
		schedule => "*/2 * * * *"
      }
}

filter {

	

   date {
    match => [ "timestamp" , "YYYY-MM-dd'T'HH:mm:ss.SSS'Z'" ]
	timezone => "Asia/Shanghai"
	target => "timestamp"
  }
  
  ruby {   
   		code => "event.set('timestamp', event.get('timestamp').time.localtime + 16*60*60)"   
 	}
  
   
}

output {
  jdbc{
     driver_jar_path => "H:/mysql/mysql-connector-java.jar"
    driver_class => "com.mysql.jdbc.Driver"
    connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8"
	username => "root"
	password => "123456"
	 statement => [ "insert into PING (id,timestamp,scheme,IP,URL,upCount,downCount,type) values (?,?,?,?,?,?,?,?)","[id]","[timestamp]","[scheme]","[IP]","[URL]","[upCount]","[downCount]","[type]"]
  }
}

现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

https://www.cbedai.net/u014646662