input { stdin { } jdbc { # mysql 数据库链接,test为数据库名 jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/datacube" # 用户名和密码 jdbc_user => "root" jdbc_password => "root" # 驱动 jdbc_driver_library => "G:\Developer\Elasticsearch5.5.1\ES5\logstash-5.5.1\bin\mysql\mysql-connector-java-5.1.9.jar" # 驱动类名 jdbc_driver_class => "com.mysql.jdbc.Driver" #处理中文乱码问题 codec => plain { charset => "UTF-8"} #使用其它字段追踪,而不是用时间 use_column_value => true #追踪的字段 tracking_column => id record_last_run => true #上一个sql_last_value值的存放文件路径, 必须要在文件中指定字段的初始值 last_run_metadata_path => "G:\Developer\Elasticsearch5.5.1\ES5\logstash-5.5.1\bin\mysql\station_parameter.txt" #开启分页查询 jdbc_paging_enabled => true jdbc_page_size => 300 # 执行的sql 文件路径+名称 statement_filepath => "G:\Developer\Elasticsearch5.5.1\ES5\logstash-5.5.1\bin\mysql\jdbc.sql" # 设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新 schedule => "* * * * *" # 索引类型 type => "jdbc" } } filter { json { source => "message" remove_field => ["message"] } } output { elasticsearch { # ES的IP地址及端口 hosts => ["localhost:9200"] # 索引名称 index => "article" # 自增ID document_id => "%{id}" } stdout { # JSON格式输出 codec => json_lines } }
logstash解决增量数据
最新推荐文章于 2024-04-23 10:05:32 发布