多源异构数据传输工具-DataX
HuFeiHu-Blog
知无涯者,虚心若愚,求知若饥,勇者天佑!
展开
-
hdata datax交流总结
hdata datax交流总结 今天和阿里云的同学就数据同步做了简要的交流,下面就交流的内容做一个总结 分片相关 datax目前可以支持单机(standalone)和集群模式(cluster).目前开源的是单机版本。无论是单机版本还集群版本,分片都是通过datax进行。集群模式会把分片包装的taskGroup重新发给datax service, datax service会把新的task转载 2017-12-21 20:58:42 · 1374 阅读 · 0 评论 -
Datax与hadoop2.x兼容部署与实际项目应用工作记录分享
一、概述 Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop。最近,在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题,其中测了sqoop-1.4.4.bin__hadoop-0.23这个版本,在转载 2017-12-21 21:02:51 · 1694 阅读 · 0 评论