hue 用oozie调度shell(sqoop)脚本问题
真是搞了好几天
hue上的日志问题给的太有迷惑性了
问题一:用户权限问题
对应的更改文件权限就可以了
HADOOP_USER_NAME=${wf:user()}
让oozie找到Hadoop集群上面的用户。
问题二:文件找不到问题
将文件上传的到hdfs的路径,也要注意权限问题
然后:
问题三:sqoop的shell找不到com.mysql.jdbc.Driver
java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver
解决:
每个节点下的cdh
将 mysql-connector-java.jar 拷贝到 /opt/cloudera/parcels/CDH/lib/sqoop/lib 下
- 将mysql-connector-java.jar上传到hdfs:/user/oozie/share/lib/lib_timstamp/sqoop
2, 重启oozie服务
四总结:
有问题,先看yarn的log日志,这个问题会写的更具体