Datax安装及使用文档

Datax安装及使用文档

1.Datax介绍

DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。  

 DataX插件分为Reader和Writer两类。Reader负责从数据源端读取数据到Storage（交换空间），Writer负责将Storage中的数据写入到数据目的端。Storage可以适配不同种类的Reader和Writer，从而实现数据同步.

 

 目前DataX版本已经提供的Reader插件如下：  

 1、 hdfsreader : 支持从hdfs文件系统获取数据。  

 2、mysqlreader: 支持从mysql数据库获取数据。  

 3、 sqlserverreader: 支持从sqlserver数据库获取数据。 

 4、 oraclereader : 支持从oracle数据库获取数据。   

 5、 streamreader: 支持从stream流获取数据（常用于测试）  

 6、httpreader : 支持从http URL获取数据。     

 提供的Writer插件如下：   

 1、 hdfswriter ：支持向hdbf写入数据。  

 2、 mysqlwriter ：支持向mysql写入数据。  

 3、 sqlserverwriter：支持向sqlserver写入数据。  

 4、 oraclewriter ：支持向oracle写入数据。  

 5、 streamwriter ：支持向stream流写入数据。（常用于测试）