logstash收集数据库数据

利用logstash收集mysql数据库表中的数据，logstash支持jdbc插件，可以用来采集数据库中的数据。

jdbc插件官方手册参考：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

logstash具体配置示例：

input{
    jdbc{
        jdbc_driver_library => "/data/jdbc/mysql-connector-java-5.1.49.jar"  # mysql驱动存放路径
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://mysql-ip:3306/database-name" # jdbc连接地址
        jdbc_user => "username"    # 数据库用户名
        jdbc_password => "passwd"  # 数据库密码
        use_column_value => true
        tracking_column => "id"    # 每次查询基于哪个字段筛选，这个字段必须是自增的（比如这里是字段名是id）
        schedule => "*/5 * * * *"  # 采集频率，每5分钟采集一次
        statement => "select * from tabname where id > :sql_last_value"   # 查询语句（:sql_last_value是固定的语法）
        record_last_run => true
		# 重点在这里，mysql语句中查询的时候必须包含作为偏移量的字段(这里指id字段)，如果不包含的话就不更新偏移量文件，然后就会重复的从之前保留的那个偏移量读取数据
        last_run_metadata_path => "/data/jdbc/logstash_offset.txt"  # 每次查询执行后，变量字段的值保存的位置，即sql_last_value的值
        clean_run => false
    }
}

output{
	stdout{}
}