logstash增量同步mysql数据到elasticsearch

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_16272049/article/details/80556549
1.下载和es相同版本的logstash
我的es版本为5.4.0 所以下载logstash版本也是5.4.0

2.解压logstash


3.在config文件夹下创建test.conf配置文件
input {
stdin {
}
jdbc {
type => "xxx"
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx"
jdbc_user => "root"
jdbc_password => "xxxx"

record_last_run => true
use_column_value => true
tracking_column => "id"
last_run_metadata_path => "/etc/logstash/run_metadata.d/my_info"
clean_run => "false"

jdbc_driver_library => "/app/es/elasticsearch-5.4.0/lib/mysql-connector-java-5.1.38.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => true
jdbc_page_size => "500"
statement => "select * from xxx where id > :sql_last_value"
schedule => "* * * * *"
}
}
注意标红色的部分:这些配置是为了达到增量同步的目的,每次同步结束之后会记录最后一条数据的tracking_column列,比如我们这设置的是id,就会将这个值记录在last_run_metadata_path中。
下次在执行同步的时候会将这个值,赋给sql_last_value


4.启动logstash
./logstash -f ../config/test.conf

阅读更多
换一批

没有更多推荐了,返回首页