Logstash连接Mysql数据源

1、准备工作：Elasticsearch 、logstash的安装。

2、mysql数据连接驱动。

3、创建mysql.sql语句，例如：select * from tableName  ，注意后面没有分号（;）。

4、创建mysql.conf,然后根据对应的jdbc进行配置参数。

5、在logstash的bin目录下启动，.\logstash -f  mysql.conf  。

mysql.conf配置文件如下：

input {
    jdbc {
      jdbc_connection_string => "jdbc:mysql://localhost:3306/datacube?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_driver_library => "D:/ElasticSearch/logstash-7.1.0/mysql/mysql-connector-java-8.0.12.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      statement_filepath => "D:/ElasticSearch/logstash-7.1.0/mysql/mysql.sql"
      schedule => "* * * * *"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "sys_permission_20190524_d"
        document_id => "%{perms_id}"
        document_type => "doc"
    }
    stdout {
        codec => json_lines
    }
}