datax 持续数据同步_DataX Web数据增量同步配置说明

一、根据日期进行增量数据抽取

1.页面任务配置

打开菜单任务管理页面，选择添加任务

按下图中5个步骤进行配置

1.任务类型选DataX任务

2.辅助参数选择时间自增

3.增量开始时间选择，即sql中查询时间的开始时间，用户使用此选项方便第一次的全量同步。第一次同步完成后，该时间被更新为上一次的任务触发时间，任务失败不更新。

4.增量时间字段,-DlastTime='%s' -DcurrentTime='%s' 先来解析下这段字符串1.-D是DataX参数的标识符，必配

2.-D后面的lastTime和currentTime是DataX json中where条件的时间字段标识符，必须和json中的变量名称保持一致

3.='%s'是项目用来去替换时间的占位符，比配并且格式要完全一致

4.注意-DlastTime='%s'和-DcurrentTime='%s'中间有一个空格，空格必须保留并且是一个空格5.时间格式，可以选择自己数据库中时间的格式，也可以通过json中配置sql时间转换函数来处理

注意，注意，注意: 配置一定要仔细看文档(后面我们也会对这块配置进行优化，避免大家犯错)

2.JSON配置

datax.json{

"job": {

"setting": {

"speed": {

"channel": 16

}

},

"content": [

{

"reader": {

"name": "mysqlreader",

"parameter": {

"splitPk": "id",

"username": "root",

"password": "root",

"col