DataX配置mysql到mysql

最新推荐文章于 2024-05-17 09:56:03 发布
最新推荐文章于 2024-05-17 09:56:03 发布
阅读量721 收藏 1
点赞数
分类专栏： DataX 文章标签： datax配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sosemseo/article/details/108342089
版权 
{
  "job": {
    "setting": {
      "speed": {
        "channel": 2000,
        "record": "150000"
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "column": [
              "F_trans_id",
              "F_enabled",
              "F_trans_type",
              "F_payment_mode",
              "F_state",
              "F_create_time",
              "F_create_time_ext",
              "F_end_time",
              "F_end_time_ext",
              "F_modify_time",
              "F_seller_user_id",
              "F_seller_login_name",
              "F_seller_true_name",
              "F_buyer_user_id",
              "F_buyer_login_name",
              "F_buyer_true_name",
              "F_trans_id_ext",
              "F_channel_id",
              "F_cash_amount",
              "F_currency",
              "F_goods_url",
              "F_goods_name",
              "F_goods_type",
              "F_trans_tag",
              "F_reserve_int_2",
              "F_goods_channel",
              "F_reserve_char_2",
              "F_seller_sub_account_type",
              "F_buyer_sub_account_type",
              "F_fee_amount",
              "F_trans_mode",
              "F_pay_type",
              "F_pay_recvable_id",
              "F_pay_time",
              "F_pay_time_ext",
              "F_confirm_time",
              "F_confirm_time_ext",
              "F_sp_id",
              "F_settlement_type",
              "F_parallel_type",
              "F_share_profit_flag",
              "F_share_profit_time",
              "F_share_profit_time_ext",
              "F_pay_solution_amount",
              "F_coupon_strategy",
              "F_coupon_amount_new",
              "F_coupon_strategy_id",
              "F_goods_channel_sp_id",
              "F_mkt_solution_amount",
              "F_client_source_flag_create",
              "F_buyer_fee_amount",
              "F_pay_credit_recv_id",
              "F_mkt_no_settlement_amount",
              "F_seller_fee_settlement_type",
              "F_seller_fee_charge_type",
              "F_seller_fee_charged_user_id",
              "F_seller_fee_refund_flag",
              "F_product_type"
            ],
            "splitPk": "F_trans_id",
            "where": "f_create_time<'2017-01-01' and F_seller_user_id=1000000000019146",
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:mysql://*.*.*.*:6000?useUnicode=true&characterEncoding=CP1252"
                ],
                "table": [
                  "dyp_db_14.t_trans_query_14_6"
                ]
              }
            ],
            "username": "datax_r",
            "password": "******"
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "writeMode": "insert",
            "username": "db_history_rw",
            "password": "******",
            "column": [
              "F_trans_id",
              "F_enabled",
              "F_trans_type",
              "F_payment_mode",
              "F_state",
              "F_create_time",
              "F_create_time_ext",
              "F_end_time",
              "F_end_time_ext",
              "F_modify_time",
              "F_seller_user_id",
              "F_seller_login_name",
              "F_seller_true_name",
              "F_buyer_user_id",
              "F_buyer_login_name",
              "F_buyer_true_name",
              "F_trans_id_ext",
              "F_channel_id",
              "F_cash_amount",
              "F_currency",
              "F_goods_url",
              "F_goods_name",
              "F_goods_type",
              "F_trans_tag",
              "F_reserve_int_2",
              "F_goods_channel",
              "F_reserve_char_2",
              "F_seller_sub_account_type",
              "F_buyer_sub_account_type",
              "F_fee_amount",
              "F_trans_mode",
              "F_pay_type",
              "F_pay_recvable_id",
              "F_pay_time",
              "F_pay_time_ext",
              "F_confirm_time",
              "F_confirm_time_ext",
              "F_sp_id",
              "F_settlement_type",
              "F_parallel_type",
              "F_share_profit_flag",
              "F_share_profit_time",
              "F_share_profit_time_ext",
              "F_pay_solution_amount",
              "F_coupon_strategy",
              "F_coupon_amount_new",
              "F_coupon_strategy_id",
              "F_goods_channel_sp_id",
              "F_mkt_solution_amount",
              "F_client_source_flag_create",
              "F_buyer_fee_amount",
              "F_pay_credit_recv_id",
              "F_mkt_no_settlement_amount",
              "F_seller_fee_settlement_type",
              "F_seller_fee_charge_type",
              "F_seller_fee_charged_user_id",
              "F_seller_fee_refund_flag",
              "F_product_type"
            ],
            "createSql": [
              "CREATE DATABASE IF NOT EXISTS dyp_db_14;",
              "use dyp_db_14;\nCREATE TABLE IF NOT EXISTS `t_trans_query_14_6` (\n  `F_trans_id` varchar(32) COLLATE latin1_bin NOT NULL,\n  `F_enabled` tinyint(3) unsigned DEFAULT '1',\n  `F_trans_type` smallint(5) unsigned NOT NULL,\n  `F_payment_mode` tinyint(3) unsigned NOT NULL DEFAULT '1',\n  `F_state` tinyint(3) unsigned DEFAULT '1',\n  `F_create_time` datetime NOT NULL,\n  `F_create_time_ext` datetime NOT NULL,\n  `F_end_time` datetime DEFAULT '0000-00-00 00:00:00',\n  `F_end_time_ext` datetime DEFAULT '0000-00-00 00:00:00',\n  `F_modify_time` datetime NOT NULL,\n  `F_seller_user_id` bigint(20) unsigned NOT NULL,\n  `F_seller_login_name` varchar(32) COLLATE latin1_bin DEFAULT NULL,\n  `F_seller_true_name` varchar(160) COLLATE latin1_bin DEFAULT NULL,\n  `F_buyer_user_id` bigint(20) unsigned NOT NULL,\n  `F_buyer_login_name` varchar(32) COLLATE latin1_bin DEFAULT NULL,\n  `F_buyer_true_name` varchar(160) COLLATE latin1_bin DEFAULT NULL,\n  `F_trans_id_ext` varchar(64) COLLATE latin1_bin NOT NULL,\n  `F_channel_id` smallint(5) unsigned NOT NULL DEFAULT '1',\n  `F_cash_amount` bigint(20) DEFAULT '0',\n  `F_currency` tinyint(3) unsigned DEFAULT '1',\n  `F_goods_url` varchar(255) COLLATE latin1_bin DEFAULT NULL,\n  `F_goods_name` varchar(128) COLLATE latin1_bin DEFAULT NULL,\n  `F_goods_type` tinyint(3) unsigned DEFAULT '1',\n  `F_trans_tag` smallint(5) unsigned DEFAULT '0',\n  `F_reserve_int_2` int(11) DEFAULT NULL,\n  `F_goods_channel` varchar(64) COLLATE latin1_bin DEFAULT '0',\n  `F_reserve_char_2` varchar(64) COLLATE latin1_bin DEFAULT NULL,\n  `F_seller_sub_account_type` smallint(5) unsigned NOT NULL DEFAULT '1',\n  `F_buyer_sub_account_type` smallint(5) unsigned NOT NULL DEFAULT '1',\n  `F_fee_amount` bigint(20) DEFAULT '0',\n  `F_trans_mode` smallint(5) unsigned DEFAULT '1',\n  `F_pay_type` smallint(5) unsigned DEFAULT NULL,\n  `F_pay_recvable_id` varchar(32) COLLATE latin1_bin DEFAULT NULL,\n  `F_pay_time` datetime DEFAULT NULL,\n  `F_pay_time_ext` datetime DEFAULT NULL,\n  `F_confirm_time` datetime DEFAULT NULL,\n  `F_confirm_time_ext` datetime DEFAULT NULL,\n  `F_sp_id` varchar(16) COLLATE latin1_bin DEFAULT NULL,\n  `F_settlement_type` smallint(5) unsigned DEFAULT '1',\n  `F_parallel_type` tinyint(3) unsigned NOT NULL DEFAULT '0',\n  `F_share_profit_flag` tinyint(3) unsigned NOT NULL DEFAULT '1',\n  `F_share_profit_time` datetime DEFAULT NULL,\n  `F_share_profit_time_ext` datetime DEFAULT NULL,\n  `F_pay_solution_amount` bigint(20) NOT NULL DEFAULT '0',\n  `F_coupon_strategy` varchar(1000) COLLATE latin1_bin DEFAULT NULL,\n  `F_coupon_amount_new` bigint(20) DEFAULT '0',\n  `F_coupon_strategy_id` smallint(5) DEFAULT '0',\n  `F_goods_channel_sp_id` varchar(16) COLLATE latin1_bin DEFAULT '0',\n  `F_mkt_solution_amount` bigint(20) NOT NULL DEFAULT '0' COMMENT '',\n  `F_client_source_flag_create` varchar(32) COLLATE latin1_bin NOT NULL DEFAULT '' COMMENT '',\n  `F_buyer_fee_amount` bigint(20) DEFAULT '0' COMMENT '',\n  `F_pay_credit_recv_id` varchar(32) COLLATE latin1_bin NOT NULL DEFAULT '',\n  `F_mkt_no_settlement_amount` bigint(20) NOT NULL DEFAULT '0',\n  `F_seller_fee_settlement_type` smallint(5) unsigned NOT NULL DEFAULT '1' COMMENT '',\n  `F_seller_fee_charge_type` smallint(5) unsigned NOT NULL DEFAULT '1' COMMENT '',\n  `F_seller_fee_charged_user_id` bigint(20) unsigned NOT NULL DEFAULT '0' COMMENT '',\n  `F_seller_fee_refund_flag` smallint(5) unsigned NOT NULL DEFAULT '1' COMMENT '',\n  `F_product_type` smallint(5) NOT NULL DEFAULT '0' COMMENT '',\n  PRIMARY KEY (`F_trans_id`),\n  KEY `I_create_time_seller` (`F_seller_user_id`,`F_seller_sub_account_type`,`F_modify_time`),\n  KEY `I_create_time_buyer` (`F_buyer_user_id`,`F_buyer_sub_account_type`,`F_modify_time`),\n  KEY `I_create_ctime_seller` (`F_seller_user_id`,`F_seller_sub_account_type`,`F_create_time`),\n  KEY `I_create_ctime_buyer` (`F_buyer_user_id`,`F_buyer_sub_account_type`,`F_create_time`),\n  KEY `I_create_ptime_seller` (`F_seller_user_id`,`F_seller_sub_account_type`,`F_pay_time`),\n  KEY `I_create_ptime_buyer` (`F_buyer_user_id`,`F_buyer_sub_account_type`,`F_pay_time`)\n) ENGINE=InnoDB DEFAULT CHARSET=latin1 COLLATE=latin1_bin ROW_FORMAT=COMPRESSED KEY_BLOCK_SIZE=8;",
              "use dyp_db_14;\ntruncate table t_trans_query_14_6;"
            ],
            "preSql": [],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://*.*.*.*:6000?useUnicode=true&characterEncoding=CP1252",
                "table": [
                  "dyp_db_14.t_trans_query_14_6"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

 

代元培
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql分库分区导入hdfs_使用datax实现离线同步分库分表数据
weixin_33603111的博客
02-08 1063
DataX简介DataX 是阿里巴巴内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。DataX更像是一个数据枢纽，它可以读取多种数据源中数据，经过内部的转换又可以输出到多种数据源中。...
DataX 实现 MySQL 数据，高效同步
芋艿V
07-11 1576
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 10:33更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT ...
DataX3.0在linux下配置同步oracle至mysql并部署可视化工具
最新发布
qq_37559701的博客
05-17 1027
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX配置MySQL到同步全量表到HDFS的一键脚本
qq_42417269的博客
06-17 1197
DataX同步MySQL到HDFS的全量表的一键脚本
Datax 配置mysql ssl连接
TIANTIANDOUNITIAN的博客
12-31 1023
1、clone datax源码，根模块只保留mysqlreader、mysqlwriter、plugin-rdbms-util3个模块 2、全局搜索com.mysql.jdbc.Driver 替换成 com.mysql.cj.Driver 3、修改mysqlreader、mysqlwriter模块的pom.xml中的mysql版本为8.0.22 4、执行maven clean package -Dmaven.test.skip=true 5、找到mysqlreader模块->target-&g
datax的mysql2hdfs文件系统高可用配置教程
想练武，就得下功夫
12-07 733
datax的mysql2hdfs文件系统高可用配置教程
DataX3同步Mysql数据库数据到Mysql数据库和DataX3同步mysql数据库数据到Starrocks数据库
zhengzaifeidelushang的博客
05-02 2198
DataX3同步Mysql数据库数据到Mysql数据库和DataX3同步mysql数据库数据到Starrocks数据库
datax读写MySQL8的插件
04-19
通过DataX提供的命令行工具或者集成到其他调度系统中，执行Job配置文件，开始数据同步过程。 四、常见问题及解决策略 1. 数据类型不匹配：在数据迁移过程中，可能会遇到源库和目标库字段类型不一致的情况，这时...
mysql.json datax配置下载
07-15
mysql.json datax配置下载
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步
05-29
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步 网址：https://blog.csdn.net/chenwewi520feng/article/details/130509875 介绍mysql的相关同步，mysql同步到mysql、mysql和hdfs相互同步
java调用shell向DataX传递参数，where条件，包含特殊字符
04-10
java调用shell向DataX传递参数，where条件，包含特殊字符。java调用shell向DataX传递参数，where条件，包含特殊字符
java调用shell向DataX传参，带where条件，特殊字符
08-16
java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
DataX mysql同步到mysql
weixin_43820104的博客
03-02 3169
使用Datax web创建同步任务
datax读取mysql方式_基于 DataX 数据库基础表数据同步
weixin_39881760的博客
01-26 743
原标题：基于 DataX 数据库基础表数据同步 万标2015年加入去哪儿技术团队。目前在金融事业部/支付中心，测试工程师岗位，对技术有浓厚兴趣。一、 问题及背景在此之前，新增的基础数据在上线后，是通过手工在各测试环境数据库执行 sql 语句的方式来维护的。另外，测试环境基础数据由于测试场景需要被修改，而修改后很有可能不会被恢复到原始值，这样的话可能会导致他人得到的测试结果与期望不一致，需要花不少...
来自于alibaba的Datax使用
鲜花怒马少年时，一日看尽长安花
11-26 2605
来自于alibaba的Datax使用 一. 介绍 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 二. 特征 DataX本身作为数据同步框架，将不同数据源的同步抽象
DataX踩坑
Kverson
11-18 1476
踩坑一： com.alibaba.fastjson.JSONObject cannot be cast to java.util.List 解决方法 将数据库等表信息不是用List格式表示的
dataX数据同步
yabin1016的博客
05-24 490
dataX linux环境部署： 1 参考文章： https://blog.csdn.net/Titanium_LL/article/details/100859499 2 环境参数：centos7 3 crontab定时任务参考https://www.pianshen.com/article/8309173488/ crontab不执行报错解决： 解决 sh: java: command not found 问题 在执行脚本上加入如下配置即可 #!/bin/bash JAV...
datax从mysql到mysql
10-17
可以使用datax的mysqlreader和mysqlwriter插件来实现从mysql到mysql的数据同步。具体步骤如下： 1. 在datax的job配置文件中，配置mysqlreader插件的参数，包括源mysql数据库的连接信息、读取数据的sql语句等。 2. 配置mysqlwriter插件的参数，包括目标mysql数据库的连接信息、写入数据的表名等。 3. 运行datax任务，即可完成从源mysql数据库到目标mysql数据库的数据同步。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值