oozie3.3.2-cdh4.5.0运行官方示例sqoop

使用oozie把官方示例hive运行成功,费了我好大劲,下面把过程描述一下,新手请看。

oozie执行错误日志查看

起初,我并不知道怎么查看oozie的日志,在运行官方示例sqoop时,就老显示job killed,只去看/var/log/oozie下的日志,也没看到什么有用的信息。后来,我装了hue,使用hue去查看跟踪,才定位到问题。
在浏览器打开hue的网页,http://hostname:8888/,然后点击oozie,就打开了oozie的控制面板。
我是使用命令行运行job的。
在已完成下,每一个job都对应一个id,点击id,进到另一个页面,点击操作,接着点击外部id,便链接到mapreduce的job里,点击任务---》尝试id--》,会出来三个选项卡,元数据,计数器,日志,点击日志选项卡,分四类日志,任务诊断日志,stdout,stderr,syslog。这四类日志均能帮助找到任务失败的原因,非常有用。

oozie执行sqoop

oozie执行hive能成功,还源于运行sqoop示例。下面将我遇到的问题解决方法总结一下:
1. 操作系统上须装jdk,不能是openjdk或者jre。我之前就是openjdk,执行sqoop遇到不能编译之类的错误。
2. sqoop执行的操作是将mysql中的数据导入到hdfs上,所以,需把mysql的驱动放在/user/oozie/share/lib/sqoop/下
3. sqoop将mysql中的表导入到hive中,报错:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient,解决办法是在workflow中,configuration节点中加入
<property>  
	<name>hive.metastore.uris</name>  
 	<value>thrift://xx.xx.xx.xx:9083</value>  
</property> 
4. 经过3的修改后,又报一错:error in semantic analysis: Line 2:17 Path is not legal。解决办法:
我将core-site.xml中以下属性的配置改成:
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://TelDB1:8020</value>
    </property>
之前的配置是:
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://TelDB1.com</value>
    </property>
重启所有服务,再次运行job,就成功了。
其它关于hdfs上的权限错误,这个就不说了,很好改的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值