Xlucas的博客

环境信息： CentOS Linux release 7.2.1511安装版本： 3.1.0 单机1、安装步骤通过 YUM 软件源安装 OBDsudo yum install -y yum-utilssudo yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.reposudo yum install -y ob-deploy2、部署 OceanBase 数据库2.1、增加配置文件本地安

安装过程： 1、先解压datax的安装包[root@slave1 datax]# tar -xvf datax.tar.gz 2、个datax的安装路径授权[root@slave1 datax]# chmod -R 775 ./datax3、测试样例[root@slave1 bin]# python datax.py ../job/job.jsonDataX (DATAX-OPENSOURCE-3

一. DataX3.0概览​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负

快速介绍         FtpReader提供了读取远程FTP文件系统数据存储的能力。在底层实现上，FtpReader获取远程FTP文件数据，并转换为DataX传输协议传递给Writer。        本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。功能与限制        FtpReader实现了从远程FTP文件读取数据并转为DataX协议的功能，远程FTP文件本身

核心 1、介绍HDFSReader的注意事项 2、HDFSReader的参数说明 3、介绍HDFSWriter的注意事项 4、HDFSWriter的参数说明 5、测试        HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。 目前HdfsReader支持的文

核心 1、MysqlReader介绍 2、MysqlWriter介绍 3、案例测试Mysql Reader 1 、快速介绍         MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持Fetch