datax
文章平均质量分 67
y小恒
知行合一。
展开
-
尚硅谷大数据技术之 DataX—4)DataX使用优化
4.1 关键参数➢ job.setting.speed.channel : channel并发数➢ job.setting.speed.record : 全局配置channel的record限速➢ job.setting.speed.byte:全局配置channel的byte限速➢ core.transport.channel.speed.record:单个channel的record限速➢ core.transport.channel.speed.byte:单个channel的byte限速4原创 2022-02-04 19:18:22 · 2683 阅读 · 0 评论 -
尚硅谷大数据技术之 DataX—3)DB2的特殊处理
3.1 什么是db 2DB2 是 IBM 公司于 1983 年研制的一种关系型数据库系统(Relational Database Management System),主要应用于大型应用系统,具有较好的可伸缩性 。DB2是IBM推出的第二个关系型数据库,所以称为 db2。DB2 提供了高层次的数据利用性、完整性、安全性 、并行性、可恢复性,以及小规模到大规模应用程序的执行能力,具有与平台无关的基本功能和SQL命令运行环境。可以同时在不同操作系统使用,包括Linux、UNIX 和 Windows。3.2原创 2022-02-04 19:02:35 · 1780 阅读 · 0 评论 -
尚硅谷大数据技术之 DataX—2)快速入门
2.1 官方地址下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz直接解压,执行命令即可,不需要编译。源码地址:https://github.com/alibaba/DataX2.2 前置要求LinuxJDK(1.8以上,推荐1.8)Python(推荐Python2.6.X)2.3 安装1 )将下载好的datax.tar.gz上传到hadoop 102 的/opt/software2 )解压da原创 2022-02-04 17:53:27 · 1566 阅读 · 0 评论 -
尚硅谷大数据技术之 DataX—1)概述
1.1 什么是DataXDataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1.2 DataX的设计为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。1.3 支持的数据源原创 2022-02-04 17:43:03 · 1757 阅读 · 0 评论