logstash将mysql中的数据同步到es中，增量实时保存

最新推荐文章于 2024-04-15 17:41:10 发布

ljj234567

最新推荐文章于 2024-04-15 17:41:10 发布

阅读量1.1k

点赞数

分类专栏： ELK mysql 文章标签： logstash mysql 增量同步

本文链接：https://blog.csdn.net/ka3p06/article/details/84785515

版权

ELK 同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

mysql

5 篇文章 0 订阅

订阅专栏

编写demo.conf

input {
  jdbc {
    type => "student"
    jdbc_driver_library => "/home/ljj/software/logstash-6.3.1/tools/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/demo?useSSL=false"
    jdbc_user => "root"
    jdbc_password => "123456"
    schedule => "* * * * * *" ### 定时任务
    statement => "SELECT * FROM student where id > :sql_last_value"
    use_column_value => true
    tracking_column => "id"
    last_run_metadata_path => "/home/ljj/syncpoint_table" ### 记录上次执行sql后的id值
    clean_run => "false" ### 是否清空文件
  }
}

output {
  elasticsearch {
    hosts => "127.0.0.1"
    index => "index_demo"
  }
}

es启动的情况下

./bin/logstash -f demo.conf & 运行程序