近期使用Azkaban工作流调度Sqoop导入命令出错,错误信息如下:
现在我实验的环境是
节点 | Sqoop | Hive | Azkaban |
---|---|---|---|
mini01 | √ | √ | × |
mini02 | × | × | × |
mini03 | × | × | √ |
也就是Azkban和sqoop节点不一致. Job信息摘要如下:
/home/hadoop/install/sqoop/bin/sqoop job -list
/home/hadoop/install/sqoop/bin/sqoop job -exec bap_code_category
.........
运行出错,经过查找网上资料得到解决办法.
办法一:修改Job信息,加入ssh
ssh -Tq 用户@主机 -p 端口。
ssh-Tq hadoop@mini01 -p 22
运行job任务确实不再报错,但是任务一直不能完成
办法二: sqoop和azkban安装在同一节点 (问题解决)