WorkFlow中Sqoop Action使用案例错误总结

job.properties 中可能出现的错误

jobTracker=hadoop-senior.beifeng.com:8032 端口错误

jobTracker的端口设置错误 8032 。表示是yarn的运行地址及端口号

oozieAppsRoot 地址错误

表示 在HDFS上oozie运行sqoop流程job的目录。目录前后把反斜杠都去掉。正确写法是oozieAppsRoot=user/beifeng/oozie-apps

oozieDataRoot 地址错误

表示 在HDFS上oozie的sqoop流程job运行结果的目录。目录前后把反斜杠都去掉。正确写法是oozieDataRoot=user/beifeng/oozie/datas

oozie.wf.application.path中的地址变量错误,使用上面定义的变量

正确:oozie.wf.application.path= nameNode/ n a m e N o d e / {oozieAppsRoot}/sqoop-import/workflow.xml
说明: oozieAppsRootooziehdfskey使使 o o z i e A p p s R o o t 表 示 o o z i e 在 h d f s 上 运 行 的 目 录 , 前 面 已 经 定 义 为 k e y , 后 面 再 使 用 时 要 以 变 量 的 方 式 来 使 用 。 ∗ ∗ {oozieAppsRoot}**

outputDir

错误:应该是提前在oozieDataRoot 的基础上追加的目录。看已经在hdfs系统上创建好的地址黏贴过来。前后没有反斜杠。

正确写法:outputDir=sqoop-import-user/output

workflow.xml 容易出现的错误

错误地址黏贴,都是变量引用,并且是数据输出地址。
正确:

出错地方

sqoop运行的命令 必须是以sqoop的命令开头
正确样例:import –connect jdbc:mysql://hadoop-senior.beifeng.com:3306/test –username root –password 123456 –table my_user_0321 –num-mappers 1 –target-dir /user/beifeng/oozie/datas/sqoop-import-user/output

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值