datax 模板_datax实战

一、全量同步

1.简单字段同步

本文以mysql -> mysql为示例：

本次测试的表为mysql的系统库-sakila中的actor表，由于不支持目的端自动建表，此处预先建立目的表：

CREATE TABLE`actor_copy` (

`actor_id`smallint(5) unsigned NOT NULLAUTO_INCREMENT,

`first_name`varchar(45) NOT NULL,

`last_name`varchar(45) NOT NULL,

`last_update`timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,PRIMARY KEY(`actor_id`),KEY`idx_actor_last_name` (`last_name`)

) ENGINE=InnoDB AUTO_INCREMENT=201 DEFAULT CHARSET=utf8;

通过官方快速开始提供的命令，可以查看配置模板：

python datax.py -r {YOUR_READER} -w{YOUR_WRITER}

python datax.py-r streamreader -w streamwriter

打开dataX的mysqlreader以及mysqlwriter文档，编写JSON配置文件：(此处经过试验，即使是自增主键，同样需要配置，否则会报输入输出不匹配的错)，加上JSON配置文件的x权限：

{

"job": {

"setting": {

"speed": {

"channel": 3

},

"errorLimit": {

"record": 0,

"percentage": 0.02

}

},

"content": [

{