datax（二）datax on azkaban架构设计之datax as a service

最新推荐文章于 2022-11-01 13:38:59 发布
置顶 最新推荐文章于 2022-11-01 13:38:59 发布
阅读量1.3k 收藏 3
点赞数 3
分类专栏： datax 大数据 文章标签： datax java 大数据 数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31957747/article/details/109478823
版权

 

一、背景

上篇文章说道，datax目前版本只支持单机模式，单机性能容易出现瓶颈，因此在线上使用datax做数据同步的时候，配合调度系统进行使用是个普遍的选择，这里我们选用的是azkaban作为调度系统进行设计，对datax进行封装提供服务。

 

二、功能说明

1、支持datax的服务调用，包括同步任务的执行、停止。

2、支持分数据源类型 / 输出数据源类型 / 租户名称 / 同步名称 / 运行状态 / 创建者的同步任务列表分页查询。

3、支持同步任务的状态查询，包括成功任务的指标查询；运行中任务的进度查询；失败任务的报错信息。

 

三、表结构设计

 

CREATE TABLE `data_sync_info` (
  `sync_id` varchar(255) NOT NULL,
  `sync_name` varchar(50) NOT NULL COMMENT '同步名称',
  `sync_desc` varchar(255) DEFAULT NULL COMMENT '同步描述',
  `sync_type` int(5) NOT NULL COMMENT '1-datax，预留字段可以后续替换同步引擎 ',
  `exec_id` varchar(20) NOT NULL COMMENT 'az执行id',
  `tenant_name` varchar(30) DEFAULT NULL COMMENT '租户名，这里的租户指的是对接datax service的各个平台',
  `job_config` text  DEFAULT NULL COMMENT 'datax的执行json',
  `source_datasource_id` varchar(255) DEFAULT NULL COMMENT '来源数据源id',
  `source_datasource_type` varchar(20) NOT NULL COMMENT '原始数据源类型',
  `target_datasource_id` varchar(255) DEFAULT NULL COMMENT '目标数据源id',
  `target_datasource_type` varchar(20) NOT NULL COMMENT '目标数据源类型',
  `running_status` int(5) NOT NULL COMMENT '0-同步中 1-同步失败 2-同步成功',
  `running_msg` text DEFAULT NULL COMMENT 'datax的任务运行成功指标情况或者任务运行失败详情',
  `start_time` datetime DEFAULT NULL,
  `end_time` datetime DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `create_by` varchar(255) NOT NULL DEFAULT NULL COMMENT '任务提交者',
  `update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`sync_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

 

四、架构设计

4.1 架构说明

1、datax-service模块为自己实现的模块，用于承载外部系统的数据同步需求，以http的方式暴露服务接口，提供任务执行、任务停止、任务列表、任务状态的功能。定时任务采用elastic-job用于周期性地对正在运行的任务进行任务状态更新、任务信息更新(包括任务运行进度、任务成功指标、任务失败信息等)。

2、datax-scheduler模块为自己实现的模块，用于做azkaban上的调度任务，datax-service在进行任务执行、任务停止、以及同步任务状态/信息等操作时，通过azkaban-api与datax-scheduler进行交互。任务状态更新、任务信息更新是通过对datax-scheduler的日志进行解析实现。

3、datax-core表示alibaba datax原生的datax打包工程，带有bin、conf、plugin等目录，需要在每个azkaban executor节点都部署一套放在固定可执行目录。

4、这里用aws s3作为文件存储，用于保存同步任务的datax执行json文件，datax-scheduler在执行时，会去s3上拉取文件到azkaban executor的指定目录下进行执行

 

 

五、接口文档

5.1 同步任务执行接口

简要描述

  • 新建同步任务,并进行执行

请求接口

/api/gdatax/data_sync/v1/data_sync/start

请求方式

  • POST

请求参数说明

参数名

类型

说明

是否必填

syncName
String同步任务名称是
syncDesc
String同步任务描述否
syncType
Integer同步任务描类型 1-datax是
tenantName
String租户名否
jobConfig
Stringdatax的执行json是
sourceDatasourceId
String来源数据源id否
sourceDatasourceType
String原始数据源类型是
targetDatasourceId
String目标数据源id否
targetDatasourceType
String目标数据源类型是
creatorBy
String创建者是

 

请求参数示例

{

    "syncName":"xxx同步到xxx",

    "syncDesc":"同步个毛啊",

    "syncType":1,

    "tenantName":"GDMODELLING",

    "jobConfig": "{\"job\":{\"setting\":{\"speed\":{\"channel\":10},\"errorLimit\":{\"record\":0,\"percentage\":0.02}},\"content\":[{\"reader\":{\"name\":\"mysqlreader\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"splitPk\":\"id\",\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":[\"jdbc:mysql://xxx:3306/data_operation\"]}]}},\"writer\":{\"name\":\"mysqlwriter\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"preSql\":[\"\"],\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":\"jdbc:mysql://xxx:3306/test\"}]}},\"transformer\":[{\"name\":\"dx_substr\",\"parameter\":{\"columnIndex\":1,\"paras\":[\"1\",\"3\"]}}]}]}}",

    "sourceDatasourceId":"123",

    "sourceDatasourceType":"ORACLE",

    "targetDatasourceId":"123",

    "targetDatasourceType":"MYSQL",

    "createBy":"jiaqk"

}

 

返回参数说明

参数名

参数类型

参数说明

syncId
String同步任务id
syncName
String同步任务名
syncDesc
String同步任务详情
syncType
Integer同步任务类型 1-datax 
execId
Stringaz执行id
tenantName
String租户名称
jobConfigStringdatax的执行json
runningStatus
Integer

运行状态

0-同步中 1-同步失败 2-同步成功 3-已停止

runningMsg
String运行信息，见附录:运行信息说明
startTimeString开始时间
endTimeString结束时间
createTime
String任务创建时间
createBy
String创建者
updateTime
String任务更新时间

 

返回参数示例

{

  "result": 0,

  "msg":"同步任务执行成功",

  "data":{

      "syncId":"sdsdsds"

      "syncName": "sdssdsd",

      "syncDesc": "sdsdsdsdsd",

      "syncType" : 0,

      "execId": "123213",

      "tenantName": "GDMODELLING",

      "jobConfig":"{\"job\":{\"setting\":{\"speed\":{\"channel\":10},\"errorLimit\":{\"record\":0,\"percentage\":0.02}},\"content\":[{\"reader\":{\"name\":\"mysqlreader\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"splitPk\":\"id\",\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":[\"jdbc:mysql://xxx:3306/data_operation\"]}]}},\"writer\":{\"name\":\"mysqlwriter\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"preSql\":[\"\"],\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":\"jdbc:mysql://xxx:3306/test\"}]}},\"transformer\":[{\"name\":\"dx_substr\",\"parameter\":{\"columnIndex\":1,\"paras\":[\"1\",\"3\"]}}]}]}}",

       "runningStatus" : 2,

       "runningMsg" : "{\"task_start_time\":\"2020-03-22\",\"task_end_time\":\"2020-03-22\",\"task_cost_time\":\"11s\",\"tasj_average_flow\":\"231.85KB/s\",\"record_write_speed\":\"4082rec/s\",\"write_record_num\":\"40821\",\"read_wirte_failed_num\":\"0\"}",

       "startTime":"2020-05-13 12:00:00",

       "endTime":"2020-05-13 12:00:00",

       "createTime":"2020-05-13 12:00:00",

       "createBy":"jiaqk",

       "updateTime":"2020-05-13 12:00:00"

  }

}

 

 

 

5.2 同步任务停止接口

简要描述

  • 同步任务停止

请求接口

/api/gdatax/data_sync/v1/data_sync/kill

请求方式

  • POST

请求参数说明

请求参数示例

{

    "syncId":"1232321"

}

返回参数示例

{

  "result": 0,

  "msg":"同步任务停止成功",

  "data": null

}


5.3 同步任务列表接口

简要描述

  • 同步任务任务列表接口(根据输入 数据源类型 / 输出数据源类型 / 租户名称 / 同步名称 / 运行状态 / 创建者  分页查询)

请求接口

/api/gdatax/data_sync/v1/data_sync/list

请求方式

  • GET

请求参数说明

参数名

类型

说明

是否必填

syncName
String同步名称否
syncType
Integer同步类型 1-datax否
tenantName
String租户名称否
sourceDatasourceType
String原始数据源类型否
sourceDatasourceId
String原始数据源id否
targetDatasourceType
String目标数据源类型否
targetDatasourceId
String目标数据源id否
runningStatus
Integer运行状态 0-同步中 1-同步失败 2-同步成功否
pageNo
Integer页号是
pageSize
Integer页长是

请求参数示例

{

    "syncName":"xxx到xxx的同步",

    "syncType":0,

    "tenantName":"GDMODELLING",

    "sourceDatasourceType" : "MYSQL",

    "sourceDatasourceId" : "12313132213",

    "targetDatasourceType" : "ORACLE",

    "targetDatasourceId" : "12313132213",

    "runningStatus" : 0,

    "pageNo" : 1,

    "pageSize" : 10

}

返回参数说明

参数名

参数类型

参数说明

list
JSONArray同步任务列表,见list说明
count
Integer分页总数

list参数说明

参数名

参数类型

参数说明

syncId
String同步任务id
syncName
String同步任务名
syncDesc
String同步任务详情
syncType
Integer同步任务类型1-datax
execId
Stringaz执行id
tenantName
String租户名称
jobConfigStringdatax的执行json
runningStatus
Integer

运行状态

0-同步中 1-同步失败 2-同步成功 3-已停止

runningMsg
String运行信息，见附录:运行信息说明
startTimeString开始时间
endTimeString结束时间
createTime
String任务创建时间
createBy
String创建者
updateTime
String任务更新时间

 

返回参数示例

{

  "result": 0,

  "msg":"查看同步任务列表成功",

  "data":{

     "list":[{

         "syncId":"sdsdsds"

         "syncName": "sdssdsd",

         "syncDesc": "sdsdsdsdsd",

         "syncType" : 1,

         "execId": "123213",

         "tenantName": "GDMODELLING",

         "jobConfig":"{\"job\":{\"setting\":{\"speed\":{\"channel\":10},\"errorLimit\":{\"record\":0,\"percentage\":0.02}},\"content\":[{\"reader\":{\"name\":\"mysqlreader\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"splitPk\":\"id\",\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":[\"jdbc:mysql://xxx:3306/data_operation\"]}]}},\"writer\":{\"name\":\"mysqlwriter\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"preSql\":[\"\"],\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":\"jdbc:mysql://xxx:3306/test\"}]}},\"transformer\":[{\"name\":\"dx_substr\",\"parameter\":{\"columnIndex\":1,\"paras\":[\"1\",\"3\"]}}]}]}}",

         "runningStatus" : 2,

         "runningMsg" : "{\"taskStartTime\":\"2020-03-22\",\"taskEndTime\":\"2020-03-22\",\"taskCostTime\":\"11s\",\"taskAverageFlow\":\"231.85KB/s\",\"recordWriteSpeed\":\"4082rec/s\",\"writeEecordNum\":\"40821\",\"readWirteFailedNum\":\"0\"}",

         "startTime":"2020-05-13 12:00:00",

         "endTime":"2020-05-13 12:00:00",

         "createTime":"2020-05-13 12:00:00",

         "createBy":"jiaqk",

         "updateTime":"2020-05-13 12:00:00"

     }],

     "count" : 10

       

  }

}


 

5.4 同步任务详情批量查询

简要描述

  • 同步任务详情批量查询(包括基本信息、任务状态)

请求接口

/api/gdatax/data_sync/v1/data_sync/detail

请求方式

  • GET

请求参数说明

参数名

类型

说明

是否必填

syncIds
String同步任务id是

请求示例

{

    "syncIds":["123132131","13123123"]

}

返回参数说明

参数名

参数类型

参数说明

list
JSONArray同步任务列表，见list说明

 

list说明

参数名

参数类型

参数说明

syncId
String同步任务id
syncName
String同步任务名
syncDesc
String同步任务详情
syncType
Integer同步任务类型1-datax
execId
Stringaz执行id
tenantName
String租户名称
jobConfigStringdatax的执行json
runningStatus
Integer

运行状态

0-同步中 1-同步失败 2-同步成功 3-已停止

runningMsg
String运行信息，见附录:运行信息说明
startTimeString开始时间
endTimeString结束时间
createTime
String任务创建时间
createBy
String创建者
updateTime
String任务更新时间

 

返回示例

{

  "result": 0,

  "msg":"获取同步任务详情列表",

  "data":{

         "list":[{

             "syncId":"sdsdsds"

             "syncName": "sdssdsd",

             "syncDesc": "sdsdsdsdsd",

             "syncType" : 0,

             "execId": "123213",

             "tenantName": "GDMODELLING",

             "jobConfig":"{\"job\":{\"setting\":{\"speed\":{\"channel\":10},\"errorLimit\":{\"record\":0,\"percentage\":0.02}},\"content\":[{\"reader\":{\"name\":\"mysqlreader\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"splitPk\":\"id\",\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":[\"jdbc:mysql://xxx:3306/data_operation\"]}]}},\"writer\":{\"name\":\"mysqlwriter\",\"parameter\":{\"username\":\"remote\",\"password\":\"hangzhoumeiri\",\"column\":[\"`id`\",\"`taskName`\",\"`templateId`\",\"`paramJson`\",\"`userId`\",\"`status`\",\"`jobs`\",\"`stage`\",\"`progress`\",\"`dataFilePath`\",\"`is_deleted`\",\"`create_time`\",\"`last_update_time`\",\"`result`\",\"`job_ids`\",\"`syn`\",\"`end_run_time`\",\"`start_run_time`\",\"`expect_execute_time`\",\"`task_info`\",\"`scheduler_task_id`\"],\"preSql\":[\"\"],\"connection\":[{\"table\":[\"task\"],\"jdbcUrl\":\"jdbc:mysql://xxx:3306/test\"}]}},\"transformer\":[{\"name\":\"dx_substr\",\"parameter\":{\"columnIndex\":1,\"paras\":[\"1\",\"3\"]}}]}]}}",

             "runningStatus" : 2,

             "runningMsg" : "{\"task_start_time\":\"2020-03-22\",\"task_end_time\":\"2020-03-22\",\"task_cost_time\":\"11s\",\"task_average_flow\":\"231.85KB/s\",\"record_write_speed\":\"4082rec/s\",\"write_record_num\":\"40821\",\"read_wirte_failed_num\":\"0\"}",

             "startTime":"2020-05-13 12:00:00",

             "endTime":"2020-05-13 12:00:00",

             "createTime":"2020-05-13 12:00:00",

             "createBy":"jiaqk",

             "updateTime":"2020-05-13 12:00:00"

          }]

  }

}

 

5.5 附录:运行信息说明

5.5.1 运行中信息说明

{

    "runningPercentage": "100.00%"  // 任务运行百分比

}

5.5.2 运行失败信息说明

{

    //   报错信息

    "errorMessage":"[表不存在，请检查表名或者联系DBA确认该表是否存在]. - 表名为：task 执行的SQL为:select 11111.txt 123.txt 20200320 ajax.js azkaban-exec-server-3.2.0 azkaban-web-server-3.2.0 datax dataxlogs flow-execute-dialog.js gt-bi-app-api-hackathon-datax-service-0.1.0 gt-bi-app-api-hackathon-datax-service-0.1.0.zip looklike.txt part-00000 pkg10000 recheck.sh _SUCCESS user.properties from task where 1=2 具体错误信息为：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table test.task doesnt exist"      

}

5.5.3 运行成功信息说明

{

    "task_average_flow": "1.99MB/s",        // 任务平均流量

    "record_write_speed": "17543rec/s",   // 记录写入速度

    "write_record_num": "1000000",         // 读出记录总数

    "read_write_failed_num": "0"              // 读写失败总数

}

 

六、参考代码

代码资源已上传：datax基于azkaban调度的服务实现代码  (包含datax-service和datax-scheduler)

 

七、不足之处

对于同步任务执行的时候的租户设置功能没有执行，感兴趣的胖友可以通过azkaban的user.to.proxy自行进行实现

凯哥多帅哦
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
datax底层原理_GitHub - lesliedou/datax-service: 针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bu...
weixin_39777464的博客
12-29 455
datax-service针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心； 同时项目内扩展了kafkawriter，rabbitmqwriter，esreader，hivereader。增强了hdfs插件，支持分区表推送，支持动态参数传递(例如时间实现自增式抽取)。具体使用方式可...
datax之hivereader
11-04
datax之hivereader，下载完成后直接解压到plugin下的reader。解压完后记得把zip包删掉，不然报错哟
【项目相关技术】前端由来、vscode安装使用、ECMAScript 6、Vue、element-ui、Node.js、npm、模块化、WebPack
置身于量子事业的软件开发爱好者
12-15 2231
前端开发的由来？ vscode安装和使用sda ①、下载地址：[https://code.visualstudio.com/](https://code.visualstudio.com/)sda ②、插件安装：sda ③、创建项目并保存工作区 ECMAScript 6sda ①、什么是 ECMAScript 6sda ②、ECMAScript 和 JavaScript 的关系 ES6的基本语法sda ①、let声明变量：sda ②、const声明常量（只读变量）sda ③、解构赋值sda ④、模板字符..
Azkaban 运行DataX
weixin_43326165的博客
09-26 1504
.project azkaban-flow-version: 2.0 .flow nodes: - name: job_mysql_to_hive type: command config: command: /usr/local/bin/python /opt/moudle/datax/bin/datax.py mysql2hive.json ...
datax on azkaban——datax as a service
11-03
datax基于azkaban调度的服务实现代码，0积分，需要的请自取
Datax 与 Azkaban 实现数据抽取与调度
UnionIBM的博客
07-26 8267
1.什么是DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github DataX的安装省略 配置详情可见 https://github.com/alibab...
Azkaban和datax安装文档.docx
07-09
Azkaban和datax安装文档
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 ...DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
DataX_python3补丁，DataX安装（Windows版）
02-17
DataX_python3 由于python为3.7.0，所以把datax/bin目录下的三个py文件需要符合python3语法要求的文件，执行也才能不报错。 如需要，下载这三个文件替换即可。
DataXServer：为DataX（https：github.comalibabaDataX）提供远程多语言调用（ThriftServer，HttpServer）分布式运行（YARN上的DataX）功能
02-03
DataX服务器 为提供远程调用（Thrift服务器，Http服务器）分布式运行（YARN上的DataX）功能 特征 节俭服务器 纱线上的DataX Http服务器 单机多线程方式运行 单机多进程方式运行 分散运行（在纱线上） 混合模式运行（Yarn +多进程模式运行） 自动伸缩 去做 1.Http服务器 2.代码重构 3.按照功能类型分解到多个子项目中重新组织包名方便后续补充功能 4.完善文档示例 部署 下载发布包并解压进入0.0.1目录 启动节俭服务器 ./bin/startThriftServer.sh 使用NodeJS提交测试任务到目标服务器   cd example/no
JDataX:对alibaba datax的封装， 进行批量的导入导出，目前只支持没有mysql模板，其他可以自己创建模板，很简单
05-13
JDataX是整合DataX的一个系统 目前功能： 批量处理同步数据库， 通过读取数据库模板文件进行批量创建json文件 SQL文件：在项目根目录 jdatax.sql Mysql数据库 计划 2019-10-01 V1.1实现 加入实时显示进度 例如 目前同步到那张表，同步是否成功，在页面上显示datax控制台打印的信息 2019-12-01 V1.2实现 加入定时任务调度，自动同步 例如 设置定时任务，自动同步,什么时间开始，什么时间定时触发 说明： 目前此中间件自用版，根据公司给的需求，自己制作的一个小工具，目前还在完善当中，遇到问题直接QQ问我，或者提出Issues，感谢您的使用！ 思维导图（版本更新计划） 效果图 欢迎大家贡献自己的代码，感谢
simpledatax-service：将datax改成一个java服务包，支持单jvm同时运行多个实例，整合编程代码，提供api调用接口，可以直接集成到现有服务框架
02-21
关于simpledatax 背景 simpledatax基于阿里开源数据采集工具datax做了一些减法，适合特定的场景。关于阿里的datax请移步 重点说明 恢复数据时实例之间的冲突。 将插件包和调度包集成到同一个包内，方便修改。 插件间不再使用不同的类加载器。插件预加载机制。同时不改变参数的json配置处理机制。 新增参数对象作为入参，封装接口，提取关键参数的配置。 修改内部调度机制，可删除睡眠收集任务执行状态的机制，修改为各个任务执行完成时汇报情况，使用未来获取返回结果，可以稍微提高下效率。 新增返回调度结果实例。用于界面展现。 可移除TaskGroupContainer，只能单机使用，如果需要扩展建议结合分布式服务框架使用。 调整了信息汇报部分代码，目前来看更加直观，也更容易修改。 文档说明 请参考阿里各个插件的文档。如果有更新需要替换插件并调整下代码。 调用示例 public st
Datax安装及使用文档.doc
09-23
通过网上收集整理了分DataX的安装及使用文档，如有需要的可以下载了解
大数据工具之Azkaban使用教程.zip
01-07
大数据工具之Azkaban使用教程.zip
大数据开源框架技术扫盲
渡江客涂鸦板
11-01 5143
主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考
datax 定时执行多个job_基于Azkaban的任务定时调度实践
weixin_39946798的博客
11-23 567
本文由云+社区发表作者：maxluo一、Azkaban介绍Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。Azkaban功能和特点：1，任务的依赖处理。2，任务监控，失败告警。3，任务流的可视化。4，任务权限管理。 常见的任务调度框架有Apache Oozie、LinkedIn Azkaban、Apache Airflow、Aliba...
Ganglia Sqoop DataX Azkaban
weixin_61399281的博客
07-03 358
​ Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。 主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。​ Sqoop(SQL-to-Hadoop)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据
猿创征文｜大数据之离线数仓各工具常用命令
Chlin.Rei的博客
09-01 485
近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka、redis等，做项目需要开启节点、启动服务，结束关掉服务节点等操作，这里将我常用的进行总结，后期接触更多则继续在这里更新#离线数仓各工具常用命令及操作！
datax启动流程
谭宇
07-24 962
组件 datax采集流程 Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。 Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。 Transformer：在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作 Job: Job是DataX用以描...
DataX3.0框架设计
最新发布
08-25
DataX3.0框架设计是基于Framework plugin架构构建的。它将数据源的读取和写入抽象为Reader/Writer插件，并纳入整个同步框架中。其中，Reader负责数据的采集，而Writer负责数据的写入。这个框架设计允许用户根据自己...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值