数据同步
文章平均质量分 95
数据同步工具DataX,Sqoop等
Keven He
一个热爱技术的大数据开发者
展开
-
详解Sqoop及使用
一、Sqoop 简介Sqoop 是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出:导入数据:从 MySQL,Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中;导出数据:从 分布式文件系统中导出数据到关系数据库中。其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移,如下图:二、Sqoop安装版本选择:目前 Sqoop 有 Sqoop 1 和 Sqoop 2 两个版本,但是截至到目前,官方并不推荐使原创 2022-05-31 12:26:02 · 1514 阅读 · 0 评论 -
详解DataX及使用
DataX概述简介DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。支持数据源DataX架构原理设计理念为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。框架设原创 2022-04-26 23:46:02 · 26228 阅读 · 9 评论