为了做大数据项目数据抽取工作,开始学习dataX,尝试比较dataX(版本 3.0)与sqoop的功能与性能差异。以下教程包括:
下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX
一、下载dataX工具及简要使用
gitHub下载(在下面的README里,Quick Start栏中):https://github.com/alibaba/DataX
阿里云下载:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
百度网盘备份:链接:https://pan.baidu.com/s/1gI89MiKtwFC0H4PCiInYPw 提取码:v9g5
操作说明参考gitHub上的README.md
二、下载dataX源码尝试编译及遇到的问题
gitHub下载(版本可能会持续更新):https://github.com/alibaba/DataX
百度网盘备份:链接:https://pan.baidu.com/s/1gI89MiKtwFC0H4PCiInYPw 提取码:v9g5
开发环境:win10 + IDEA + python2.7 + java JDK1.8
2.1 下载源码加载到IDEA
主要是找到pom.xml 打开IDEA,通过pom.xml先将project导入。