hive
文章平均质量分 55
mrking0105
这个作者很懒,什么都没留下…
展开
-
oozie 调用sqoop导入hive表错误处理
这个问题,搞了整整三天。 都想骂娘了。 由于是尼玛oozie调用mapreduce调用sqoop然后调用hive,关系比较复杂。 所以错误定位搞了好久。 症状描述: 用oozie调用sqoop,将数据表从mysql直接导入到hive的过程中。 全部过程都能执行完毕,数据也导进去了。 但是,那个oozie的job的结果显示是killed的。当然咯,那个action节点的结果也显示是...原创 2012-06-07 02:29:14 · 348 阅读 · 0 评论 -
用oozie执行pigAction与hiveAction的问题
=============================== 问题分析: oozie执行action时锁涉及到的jar包,都是用的oozie.libpath指定的sharelib路径中的jar包。 而pig和hive都依赖了antlr-x.x.x.jar。 最要命的是,他们两个还依赖的是不同版本的antlr。 我用的是pig-0.10.0和hive-0.8.1。 pig的...原创 2012-06-12 22:01:09 · 105 阅读 · 0 评论 -
oozie运行hive以及hive的udf
一, 执行hiveAction除了需要配置oozie.hive.defaults外,还需要配置几个hive的参数。 这点我不是很理解,以为只要在hive-site.xml里面配置了,就完事了,结果不行,还需要单独配置,而且oozie.hive.defaults不配置还不行。 配置如下: [code="conf"] oozie.hive.defaults my-h...原创 2012-06-12 22:09:57 · 207 阅读 · 0 评论 -
Hive 部署与其他
按照hadoop权威指南中文版第二版中,374页的内容, 部署hive。 部署模式 remote metastore。 1,配置好mysql。 2,按照mysql的url、数据库名称,用户名、密码,配置hive的javax.jdo.*参数。 3,启动matestore服务。hive --service metastore 默认端口用的是9083,也可以通过METASTORE_P...原创 2012-02-14 19:11:23 · 96 阅读 · 0 评论 -
hive在YARN下执行mr任务问题
错误和解决方案都可以参加该链接: http://grokbase.com/p/cloudera/cdh-user/126wqvfwyt/hive-refuses-to-work-with-yarn 现象就是,当hive启动mr任务是报错如下: [quote] Error during job, obtaining debugging information... Examinin...原创 2012-09-15 01:11:19 · 1203 阅读 · 0 评论