logstash实现Elasticsearch与mysql数据同步

  1. 首先上传logstash-7.3.0.tar.gz和mysql-connector-java-5.1.6.jar到服务器(这里我使用的个人的版本,大家可以换成自己的版本)
  2. 然后解压缩tar -zxvf logstash-7.3.0.tar.gz
  3. cd 到 logstash-7.3.0
  4. 执行./bin/logstash-plugin install logstash-input-jdbc
  5. 执行./bin/logstash-plugin install logstash-output-elasticsearch
  6. cd到bin目录,并且创建config-mysql目录,然后在config-mysql目录中创建myslq.conf文件
  7. 在myslq.conf文件中配置一下内容
input {
    jdbc {
      jdbc_driver_library => "/usr/local/soft/logstash-7.3.0/mysql-connector-java-5.1.6.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_connection_string => "jdbc:mysql://ip地址:3306/数据库名?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      jdbc_user => "用户名"
      jdbc_password => "密码"
      schedule => "* * * * *"
      statement => "select * from 要同步的表"
    }
}
output{
        elasticsearch {
          hosts => "127.0.0.1" #连接es的ip
          index => "mysqlindex" #索引
          document_id => "%{id}" # 与sql语句查出来的id一样
          document_type => "type"
  }
    stdout { codec => rubydebug }
}
  1. ./bin/logstash -f ./config-mysql/mysql.conf 启动

在这里插入图片描述

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_42607505

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值