logstash-output-mongodb实现Mysql到Mongodb数据同步

版权声明:本文为博主原创文章,未经博主允许不得转载。转载请务必加上原作者:铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/65449127

本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。

0、前提

1)已经安装好源数据库:Mysql;
2)已经安装好目的数据库:Mongodb;
3)已经安装好logstash及相关插件logstash-output-mongodb
安装步骤参考:http://blog.csdn.net/laoyang360/article/details/65448962

1、同步conf配置详解

[root@la bin]# cat ./logstash_jdbc_mongo/jdbc_mongo.conf
input {
  stdin {
  }
  jdbc {
  ‘# 源Mysql数据库地址
  jdbc_connection_string => "jdbc:mysql://20.18.11.4:3306/tech?zeroDateTimeBehavior=convertToNull"
  #源Mysql的用户名和密码
  jdbc_user => "root"
  jdbc_password => "rot123"#true代表记录最后存储的关联列值
  record_last_run => "true"
  use_column_value => "true"
  tracking_column => "id"#存储位置
  last_run_metadata_path => "/opt/logstash/bin/logstash_jdbc_mongo/mongo_info"
  clean_run => "false"#jdbc路径地址
  jdbc_driver_library => "/home/lib/mysql-connector-java-5.1.38.jar"# the name of the driver class for mysql
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  jdbc_paging_enabled => "true"
  jdbc_page_size => "500"#以下对应着要执行的sql的绝对路径。
  statement_filepath => "/opt/logstash/bin/logstash_jdbc_mongo/jdbc_mongo.sql"#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
  }
}

filter {
json {
  source => "message"
  remove_field => ["message"]
  }
}

’#输出mongodb的配置
output {
  stdout { codec => rubydebug }
  mongodb {
‘#对应mongodb的输出集合
  collection => "N_CLASS"#对应mongodb的输出数据库名称
  database => "data"
  uri => "mongodb://110.0.12.45:27017"
  }
}

2、需要同步表的sql

[root@lalogstash_jdbc_mongo]# cat jdbc_mongo.sql
select
*
from n_class
where n_class.id > :sql_last_value

3、小结

以上实现了Mysql数据库中的一个库表table 与 Mongodb中的一个集合collection之间的全量、增量同步操作。
全量的实现:通过sql语句实现;
增量的实现:通过定时、sql_last_value实现。
同步的时候,无需在mongodb做任何操作,同步后,既可以在mongodb的windows客户端:Robomongo看到同步后新增的集合collection。

4、题外话(欢迎留言讨论)

PS:以下链接涉及演讲主题“NoSQL之王——一分钟从关系型迁移到MongoDB”,但是目前为止,没有找到相关细节介绍PPT等资料。博友,谁有参与或者更好的同步方案欢迎评论探讨。
http://geek.csdn.net/news/detail/186266

——————————————————————————————————
更多ES相关实战干货经验分享,请扫描下方【铭毅天下】微信公众号二维码关注。
(每周至少更新一篇!)

这里写图片描述
和你一起,死磕Elasticsearch
——————————————————————————————————

2017年3月23日 21:02 于家中床前
作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/65449127
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!

阅读更多

扫码向博主提问

铭毅天下

博客专家

和你一起,死磕ELK Stack!
  • 擅长领域:
  • ES
  • ELK
  • bigdata
去开通我的Chat快问

没有更多推荐了,返回首页