DataX数据同步测试

已于 2024-08-24 17:43:02 修改
阅读量1k 收藏 4
点赞数
分类专栏： 数据采集相关 文章标签： datax增量、分区迁移 datax动态传参 datax-web
于 2020-09-27 16:42:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yanxu_Jin/article/details/108831071
版权

DataX数据同步测试

一.MySQL全量数据同步

1.MySQL建表

-- ambari03.devinkim.com:3306/bitestdb   root 123456
USE `bitestdb`;
DROP TABLE IF EXISTS `emp`;
CREATE TABLE `emp` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(100) DEFAULT NULL,
  `deg` varchar(100) DEFAULT NULL,
  `salary` int(11) DEFAULT NULL,
  `dept` varchar(10) DEFAULT NULL,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` bigint(20) DEFAULT '1'
);

insert  into `emp`(`id`,`name`,`deg`,`salary`,`dept`,`create_time`,`update_time`,`is_delete`) values (1201,'gopal','manager',50000,'TP','2018-06-17 18:54:32','2019-01-17 11:19:32',1),(1202,'manishahello','Proof reader',50000,'TPP','2018-06-15 18:54:32','2018-06-17 18:54:32',0),(1203,'khalillskjds','php dev',30000,'AC','2018-06-17 18:54:32','2019-03-14 09:18:27',1),(1204,'prasanth_xxx','php dev',30000,'AC','2018-06-17 18:54:32','2019-04-07 09:09:24',1),(1205,'kranthixxx','admin',20000,'TP','2018-06-17 18:54:32','2018-12-08 11:50:33',0),(1206,'garry','manager',50000,'TPC','2018-12-10 21:41:09','2018-12-10 21:41:09',1),(1207,'oliver','php dev',2000,'AC','2018-12-15 13:49:13','2018-12-15 13:49:13',1),(1208,'hello','phpDev',200,'TP','2018-12-16 09:41:48','2018-12-16 09:41:48',1),(1209,'ABC','HELLO',300,NULL,'2018-12-16 09:42:04','2018-12-16 09:42:24',1),(1210,'HELLO','HELLO',5800,'TP','2019-01-24 09:02:43','2019-01-24 09:02:43',1),(1211,'WORLD','TEST',8800,'AC','2019-01-24 09:03:15','2019-01-24 09:03:15',1),(1212,'sdfs','sdfsdf',8500,'AC','2019-03-13 22:01:38','2019-03-13 22:01:38',1),(1213,NULL,'sdfsdf',9800,'sdfsdf','2019-03-14 09:08:31','2019-03-14 09:08:54',1),(1214,'xxx','sdfsdf',9500,NULL,'2019-03-14 09:13:32','2019-03-14 09:13:44',0),(1215,'sdfsf','sdfsdfsdf',9870,'TP','2019-04-07 09:10:39','2019-04-07 09:11:18',0),(1216,'hello','HELLO',5600,'AC','2019-04-07 09:37:05','2019-04-07 09:37:05',1),(1217,'HELLO2','hello2',7800,'TP','2019-04-07 09:37:40','2019-04-07 09:38:17',1);

2.Hive建表

sudo -u hdfs hdfs dfs -rmr /warehouse/tablespace/external/hive/whdb.db/emp/*

drop table if exists `whdb`.`emp`;
create external table `whdb`.`emp` (
    id int,
    name string,
    deg string,
    salary double,
    dept string,
    create_time timestamp,
    update_time timestamp,
    isdeleted string
) row format delimited fields terminated by '\u0001' STORED AS textfile;

3.开发datax配置文件

# 服务器：flink02.devinkim.com   目录：/devinkim/softwares/datax/datax/job
sudo -u hdfs hdfs dfs -rmr /warehouse/tablespace/external/hive/whdb.db/emp/*
cd /devinkim/softwares/datax/datax/job
vim mysql2hive.json

特别注意：hive存在hdfs上的数据默认是以’\001’分隔的（用vim打开文件会看到是以^A分隔）。所以构建任务书分隔符要指定为 “fieldDelimiter”: “\u0001”！！！

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "querySql": [
                                    "select * from emp where id < 1208;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://ambari03.devinkim.com:3306/bitestdb"
                                ]
                            }
                        ]
                    }
                },
                 
				"writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://ambari01.devinkim.com:8020",
                        "fileType": "text",
                        "path": "/warehouse/tablespace/external/hive/whdb.db/emp",
                        "fileName": "emp",
                        "column": [
                            {
                                "name": "id",
                                "type": "INT"
                            },
                            {
                                "name": "name",
                                "type": "STRING"
                            },
                            {
                                "name": "deg",
                                "type": "STRING"
                            },
                            {
                                "name": "salary",
                                "type": "DOUBLE"
                            },
                            {
                                "name": "dept",
                                "type": "STRING"
                            },
                            {
                                "name": "create_time",
                                "type": "TIMESTAMP"
                            },
                            {
                                "name": "update_time",
                                "type": "TIMESTAMP"
                            },
                            {
                                "name": "isdeleted",
                                "type": "STRING"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\u0001"
                    }
                }
            }
        ]
    }
}

4.启动DataX运行任务

cd /devinkim/softwares/datax/datax
python bin/datax.py  job/mysql2hive.json

5.查看数据

select * from `whdb`.`emp`;

二.MySQL增量、分区数据同步

1.MySQL建表

-- ambari03.devinkim.com:3306/bitestdb   root 123456
USE `bitestdb`;
DROP TABLE IF EXISTS `emp`;
CREATE TABLE `emp` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(100) DEFAULT NULL,
  `deg` varchar(100) DEFAULT NULL,
  `salary` int(11) DEFAULT NULL,
  `dept` varchar(10) DEFAULT NULL,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` bigint(20) DEFAULT '1'
);

INSERT  INTO `emp` VALUES (1001,'gopal','manager',50000,'TP','2020-09-14 13:51:57','2020-09-14 13:52:42',1);
INSERT  INTO `emp` VALUES (1002,'hdfs','hadoop',20000,'TP','2020-09-14 13:51:57','2020-09-14 13:52:42',1);

2.Hive建表

-- sudo -u hdfs hdfs dfs -rmr /warehouse/tablespace/external/hive/whdb.db/emp/*

drop table if exists `whdb`.`emp`;
create external table `whdb`.`emp` (
    id int,
    name string,
    deg string,
    salary int,
    dept string,
    create_time timestamp,
    update_time timestamp,
    isdeleted bigint 
) 
partitioned by (day string) 
row format delimited fields terminated by '\u0001' 
stored as orc 
location 'hdfs://ambari01.devinkim.com:8020/warehouse/tablespace/external/hive/whdb.db/emp';
show create table `whdb`.`emp`;

3.开发datax配置文件

increment-partition.json

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "123456",
            "column": [
              "`id`",
              "`name`",
              "`deg`",
              "`salary`",
              "`dept`",
              "`create_time`",
              "`update_time`",
              "`is_delete`"
            ],
            "where": "`create_time` >= '${start_time}' AND `create_time` < '${end_time}'",
            "splitPk": "",
            "connection": [
              {
                "table": [
                  "emp"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://ambari03.devinkim.com:3306/bitestdb"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "hdfswriter",
          "parameter": {
            "defaultFS": "hdfs://ambari01.devinkim.com:8020",
            "fileType": "orc",
            "path": "/warehouse/tablespace/external/hive/whdb.db/emp/${day}",
            "fileName": "ambari03-bitestdb-emp",
            "writeMode": "append",
            "fieldDelimiter": "\u0001",
            "column": [
              {
                "name": "id",
                "type": "int"
              },
              {
                "name": "name",
                "type": "string"
              },
              {
                "name": "deg",
                "type": "string"
              },
              {
                "name": "salary",
                "type": "double"
              },
              {
                "name": "dept",
                "type": "string"
              },
              {
                "name": "create_time",
                "type": "timestamp"
              },
              {
                "name": "update_time",
                "type": "timestamp"
              },
              {
                "name": "isdeleted",
                "type": "string"
              }
            ]
          }
        }
      }
    ]
  }
}

注意：where条件的两种写法

-- 1.使用数据库的时间（不推荐）
`create_time` >= DATE_FORMAT( DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 00:00:00') AND `create_time` < DATE_FORMAT(NOW(),'%Y-%m-%d 00:00:00')
-- 2.使用datax动态传参，传入起始时间（强烈推荐）
`create_time` >= '${start_time}' AND `create_time` < '${end_time}'

4.启动DataX运行任务

# sudo -u hdfs hdfs dfs -rmr /warehouse/tablespace/external/hive/whdb.db/emp/*
# sudo -u hdfs hdfs dfs -mkdir -p /warehouse/tablespace/external/hive/whdb.db/emp/$(date '+%Y-%m-%d' --date="-1 day")

python bin/datax.py  job/increment-partition.json -p "-Dday='$(date '+%Y-%m-%d' --date="-1 day")' -Dstart_time='$(date '+%Y-%m-%d 00:00:00' --date="-1 day")' -Dend_time='$(date '+%Y-%m-%d 00:00:00')'"

5.加载数据至分区

hivevariable.hql

use whdb;
load data inpath '/warehouse/tablespace/external/hive/whdb.db/emp/${day}' into table `whdb`.`emp` partition (day='${day}');
select * from emp where day = '${day}';

shell命令传参并运行hivevariable.hql

hive --hivevar day=$(date '+%Y-%m-%d' --date="-1 day") -f hivevariable.hql

三.MySQL全量（Datax-Web）

http://flink01:9527/index.html

账号：admin

密码：123456

1.创建MySQL数据源

在这里插入图片描述

2.创建Hive数据源

在这里插入图片描述

3.任务构建

先在Hive中创建好表

-- sudo -u hdfs hdfs dfs -rmr /yanxu-jin/datax/suv_complain_file/*
USE `whdb`;
DROP TABLE IF EXISTS `whdb`.`t_yyc_ts_info`;
CREATE EXTERNAL TABLE `t_yyc_ts_info`(                      
  `com_id` string COMMENT 'complain投诉编号',          
  `com_agent_name` string COMMENT 'complain经销商名称  周口京彩润，北京鹏元，长沙脸谱，南阳京润, 昆明孝尊 ',  
  `com_type_id` string COMMENT 'complain投诉类型id',
  `com_type_name` string COMMENT 'complain投诉类型名称 1001 产品质量 1002 售后投诉 1003 配件投诉 1004销售投诉 1005其它类投诉',  
  `com_car_type` string COMMENT 'complain投诉车型 BJ40L,BJ40 PLUS,B80C,B40皮卡,B40柴油版，B40V,B40L PLUS-柴油版，BJ80,BJ80汽油版，BJ40环塔冠军版，BJ40城市猎人版，BJ40PLUS域 ',  
  `com_info` string COMMENT 'complain投诉内容',        
  `com_time` string COMMENT 'complain投诉时间',        
  `com_dt_limit` string COMMENT 'complain最晚投诉处理期限 ',  
  `com_status` string COMMENT 'complain投诉处理状态，10待处理，11已处理',  
  `com_do_time` string COMMENT 'complain投诉处理时间',   
  `com_do` int COMMENT 'complain投诉处理周期  多少天'
) row format delimited fields terminated by '\u0001' 
  STORED AS TEXTFILE
  LOCATION '/yanxu-jin/datax/suv_complain_file/';

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

4.任务管理中添加任务

在这里插入图片描述

5.运行任务并查看日志

sudo -u hdfs hdfs dfs -rmr /yanxu-jin/datax/suv_complain_file/*

在这里插入图片描述

四.Oracle全量（Datax-Web）

1.Hive建表

DROP TABLE IF EXISTS `whdb`.`t_user_reg`;
CREATE TABLE `whdb`.`t_user_reg` (
  `cif_no` string  COMMENT '客户号',
  `cif_type` string  COMMENT '客户类型：10消费客户，11分销商，12代销商，13内部客户',
  `cif_type_name` string  COMMENT '客户类型名称：10消费客户，11分销商，12代销商，13内部客户',
  `cif_account` string  COMMENT '账号',
  `cus_tel` string  COMMENT '客户手机号',
  `active_flag` string  COMMENT '激活标志：1激活，0未激活',
  `cif_nickname` string  COMMENT '昵称',
  `reg_origin` string  COMMENT '注册来源：0手机，1PC，2柜台',
  `cif_origin` string  COMMENT '客户来源',
  `account_flag` string  COMMENT '开户标记：0未开户，1开户',
  `area_code` bigint  COMMENT '行政区划',
  `email` string  COMMENT '客户邮箱',
  `reg_time` timestamp  COMMENT '注册时间',
  `occ_time` timestamp   COMMENT '时间戳'
) row format delimited fields terminated by '\u0001' STORED AS orc 
LOCATION 'hdfs://ambari01.devinkim.com:8020/warehouse/tablespace/managed/hive/whdb.db/t_user_reg';

2.开发datax配置文件

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "oraclereader",
          "parameter": {
            "username": "EnJGXrfLkVvuqUICQB3tGg==",
            "password": "E8gaBXRn6CCJLyyE1uIA6w==",
            "column": [
              "\"CIF_NO\"",
              "\"CIF_TYPE\"",
              "\"CIF_TYPE_NAME\"",
              "\"CIF_ACCOUNT\"",
              "\"CUS_TEL\"",
              "\"ACTIVE_FLAG\"",
              "\"CIF_NICKNAME\"",
              "\"REG_ORIGIN\"",
              "\"CIF_ORIGIN\"",
              "\"ACCOUNT_FLAG\"",
              "\"AREA_CODE\"",
              "\"EMAIL\"",
              "\"REG_TIME\"",
              "\"OCC_TIME\""
            ],
            "splitPk": "",
            "connection": [
              {
                "table": [
                  "T_USER_REG"
                ],
                "jdbcUrl": [
                  " jdbc:oracle:thin:@10.90.21.26:1521:orcl"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "hdfswriter",
          "parameter": {
            "defaultFS": "hdfs://ambari01.devinkim.com:8020",
            "fileType": "orc",
            "path": "/warehouse/tablespace/managed/hive/whdb.db/t_user_reg",
            "fileName": "file_user_reg",
            "writeMode": "append",
            "fieldDelimiter": "\u0001",
            "column": [
              {
                "name": "cif_no",
                "type": "string"
              },
              {
                "name": "cif_type",
                "type": "string"
              },
              {
                "name": "cif_type_name",
                "type": "string"
              },
              {
                "name": "cif_account",
                "type": "string"
              },
              {
                "name": "cus_tel",
                "type": "string"
              },
              {
                "name": "active_flag",
                "type": "string"
              },
              {
                "name": "cif_nickname",
                "type": "string"
              },
              {
                "name": "reg_origin",
                "type": "string"
              },
              {
                "name": "cif_origin",
                "type": "string"
              },
              {
                "name": "account_flag",
                "type": "string"
              },
              {
                "name": "area_code",
                "type": "bigint"
              },
              {
                "name": "email",
                "type": "string"
              },
              {
                "name": "reg_time",
                "type": "timestamp"
              },
              {
                "name": "occ_time",
                "type": "timestamp"
              }
            ]
          }
        }
      }
    ]
  }
}

3.手动加载数据

load data inpath '/warehouse/tablespace/managed/hive/whdb.db/t_user_reg/*' into table `whdb`.`t_user_reg`;
select count(*) from `whdb`.`t_user_reg`;
select * from `whdb`.`t_user_reg` limit 10;
DevinKim
关注
专栏目录
使用 DataX 实现数据同步（高效的同步工具）
m0_67393413的博客
06-21 5495
我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：后面在网上查看后，发现 DataX 这个工具用来同步不仅速度快，而且同步的数据量基本上也相差无几。DataX 是阿里云 DataWorks 数据集成 的开源版本，主要就是用于实现数据间的离线同步。 DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、H
使用 DataX 实现数据同步（高效的数据同步工具）(1)
2301_82241647的博客
05-01 991
JVM，JAVA集合，JAVA多线程并发，JAVA基础，Spring原理，微服务，Netty与RPC，网络，日志，Zookeeper，Kafka，RabbitMQ，Hbase，MongoDB，Cassandra，设计模式，负载均衡，数据库，一致性哈希，JAVA算法，数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算…": [],],],],“speed”: {
批量数据之DataX数据同步
上善若泪
01-26 1469
DataX是阿里云DataWorks数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状同步链路变成了星型数据链路 ，DataX作为中间传输载体负责连接各种数据源；当需要接入一个新的数据源时，只需要将此数据源对接到DataX，便能跟已有的数据源作为无缝数据同步。
datax关于postsql，openGuass数据增量迁移的问题
最新发布
oTianKongLan123的博客
08-20 351
PostgresqlWriter中的不允许更新先注释了 让他过去先。看了下源码有个postsqlwriter 看了下也就拼接sql。然后看到 WriterUtil中的对应方法。确实只有对应mysql的方法。在下面加个postgres的。然后配置文件中带上id。看官方文档是不支持的。对应刚刚改的代码中的。
DataX数据同步
两个蝴蝶飞
04-03 5215
DataX数据同步
利用实现数据同步功能, 已经完成测试,可以实现.
weixin_30606461的博客
06-07 337
using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Text;using System.Windows.Forms;using System.Data.SqlClient;using System.D...
DM8-DM8通过DMHS数据同步
Apple_First的博客
11-27 936
初步学习了一下达梦的dmhs同步工具，本人觉得还是很好用的，下面为大家详细介绍一下我在自己的虚拟机上搭建的过程。 环境信息 1.1 源端库 IP地址 192.168.163.133 操作系统版本 中标麒麟7.4 操作系统登录信息 root/123 dmdba/123 达梦数据库安装包 dm8_setup_rh7_64_ent_8.1.1.56_20191223.iso 1.2 目的端库 IP地址 192.168.163.134 操作系统版本 中标麒麟7.4 操作系统登录信息 root/123 ..
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
datax数据同步异常问题检测
09-02
解析datax同步日志，标记出异常的Job信息。
DataX数据同步手册.docx
07-24
### DataX 数据同步工具详解与应用实践 #### 一、DataX 工具简介 **1、设计理念** DataX 作为一个强大的异构数据源离线同步工具，旨在提供一种高效且稳定的方式来同步不同类型的数据库系统之间的数据。这些系统...
DataX - 全量数据同步工具_datax工具
2401_84181403的博客
04-27 686
通常情况下，离线数据同步任务需要每日定时重复执行（就像我们之前 flume 上传到 HDFS 也指定过），故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中 HDFS Writer 的path参数的值应该是动态的。当出现上面的结果说明安装成功，这里我们用的是 DataX 自带的一个测试作业，它是一个 json 格式的文件，之后我们的 DataX 作业也是通过自己 编写 json 文件来实现。
信息同步测试类
09-23
信息同步测试类
DataX 数据源同步
anguoan的博客
02-20 842
datax运行原理和架构
MYSQL的数据同步试验
cnbird's blog
02-14 684
max下载地址http://download.chyangwa.com/linux/MySQL/Mysql作为一种开源的数据库系统得到广泛使用，但象同步数据复制这样的特性，Mysql支持的如何呢？以下是我曾经作过的一个试验，验证了linux-linux、linux-windows 进行动态数据复制和主从备份的可行性。一、 试验目的    replication的好处：    1）提高数据库健壮
mysql 单向同步 测试数据_Mysql数据同步（单向）
weixin_30199299的博客
01-20 278
Mysql数据同步(单向)一．准备环境Master：Ip：192.168.211.128Mysql版本：5.0.77(可以通过命令mysqladmin-uroot-p123version查看)Slave：Ip：192.168.211.131Mysql版本：5.0.77二．设置同步设置master同步1.修改my.cnfvi/etc/my.cnf添加内容如下：server-id=1(mys...
DataX - 全量数据同步工具
功不唐捐，玉汝于成
02-21 2537
DataX 全量数据同步工具
DATAX数据同步工具
weixin_43930865的博客
05-30 2278
1、DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。2、DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX&数据同步（全量）
qq_41246557的博客
01-15 3056
DataX（Data Exchange）是阿里巴巴集团开源的一款通用数据同步工具，用于实现不同数据存储系统之间的数据传输和同步。它支持多种数据源和目标，包括关系型数据库、NoSQL 数据库、Hadoop 等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值