解决 datax 批量同步表功能(灵活控制表的个数)实现

最新推荐文章于 2024-05-16 16:33:03 发布

lg4546

最新推荐文章于 2024-05-16 16:33:03 发布

阅读量4.5k

点赞数 3

分类专栏：大数据笔记文章标签： java 大数据

本文链接：https://blog.csdn.net/lg4546/article/details/124103375

版权

大数据同时被 2 个专栏收录

44 篇文章 183 订阅 ¥9.90 ¥99.00

订阅专栏

笔记

12 篇文章 1 订阅

订阅专栏

本文介绍了如何使用DataX实现在数据库间批量同步表的功能。通过创建目录、存储表名列表、配置DataX JSON脚本及编写shell脚本，实现了从一个数据库模式到另一个模式的批量数据迁移。如果需要每日增量同步，文中提到后续会发布相关配置文章。

摘要由CSDN通过智能技术生成

1 datax 只能实现一个一个的表进行同步功能,如果想实现将某一个库下所有的表,或者部分表进行同步,需要怎么做呢?

datax的同步配置信息:

{
    "job": {

        "content": [
            {
                "reader": {
                    "name": "mysqlreader", #指定使用mysqlreader读取数据。
                    "parameter": {
                        "username": "username",#MySQL用户名。
                        "password": "password",#MySQL密码。
                        "connection": [
                            {
                                "querySql": [ #指定执行的SQL语句。
                                    "select bucket_name, delta , timestamp ,cdn_in, cdn_out ,total_request from vip_quota where bucket_name='xxx' "
                                ],
                                "jdbcUrl": ["jdbc:mysql://192.168.0.8:3306/db1?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true" #jd

了解本专栏