最简单dophinscheduler 集成datax步骤

#找个目录

cd /data

#如果有更改python环境的话,需要再环境下挂python2.7

ln -s /usr/bin/python2.7 /data/anaconda3/bin/python2.7

#从官网下载datax安装包

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

#习惯于把安装包放到一个固定的地方存起来,可以忽略

mv datax.tar.gz /data/package/


#删除插件中下划线开头的隐藏文件(不删除会报找不到插件错误,挺奇怪)

rm -rf /data/datax/plugin/reader/._*
rm -rf /data/datax/plugin/writer/._*

#dophinscheduler集成datax,修改env文件

vim conf/env/dolphinscheduler_env.sh
export DATAX_HOME=/data/datax

修改完DATAX_HOME ,重启ds即可

如果是分布式,则每台机器都需要这样操作一起,再重启

操作完后,可直接使用dophinscheduler的datax节点

模版如何填写参考git上的文档

github-DataX 传送门 =>

 

ok,仅做记录,祝顺利

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值