使用logstash来同步数据库与es数据

最新推荐文章于 2024-09-18 20:41:48 发布

Jiang-X

最新推荐文章于 2024-09-18 20:41:48 发布

阅读量951

点赞数

分类专栏： ES

本文链接：https://blog.csdn.net/weixin_37301906/article/details/106858249

版权

ES 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

logstash 相当于一个管道，链接关系型数据库和ES ，现在咱们来安装并来实际操作一番。

步骤

下载logstash ，可以去我上篇给的华为镜像里下载。
然后进入目录下我们需要安装插件
bin/logstash-plugin install logstash-input-jdbc
bin/logstash-plugin install logstash-output-elasticsearch
我们还需要mysql 的驱动，
下插件 https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar 放到logstash目录下，我们的文件中需要引用到此jar
编辑yaml 文件，用来将数据库数据输出到es 中

input {
  jdbc {
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_driver_library => "/usr/local/logstash/mysql-connector-java-8.0.16.jar"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/bootdo"
    jdbc_user => root
    jdbc_password => root
    #启用追踪，如果为true，则需要指定tracking_column
    use_column_value => true
    #指定追踪的字段，
    tracking_column => "id"
    #追踪字段的类型，目前只有数字(numeric)和时间类型(timestamp)，默认是数字类型
    tracking_column_type => "numeric"
    #记录最后一次运行的结果
    record_last_run => true
    #上面运行结果的保存位置
    last_run_metadata_path => "mysql-es.log"
    statement => "SELECT * FROM inf where id >:sql_last_value;"
    schedule => " * * * * * *"
  }
}
output {
  elasticsearch {
    document_id => "%{id}"
    document_type => "_doc"
    index => "inf"
    hosts => ["http://localhost:9200"]
  }
  stdout{
  # 用来输出结果，可以用于调试
    codec => json_lines
  }
}

最开始可以先将 output -> elasticsearch 都注释掉，先看下输出的是否正确，我这里遇到个问题，频繁的爆编码问题，网上搜了好多都没有对症。后来发现是数据库中的一个字段问题。所以先输出看下有没有报错有没有问题，如果没问题，将注释去掉后，再次运行即可。会将数据输入到es 中

启动 ./bin/logstash -f mysqles.conf
或者后台启动 nohup ./logstash -f es.conf &

转载两个博主的文章，对文件中的一些进行了解释
https://blog.csdn.net/wangyong20083344/article/details/91949036
https://juejin.im/post/5cf23d2e518825789e031669
博主写的很详细，配置文件中的注释都很清楚，