hive 部分问题

最新推荐文章于 2021-05-26 16:17:54 发布

码农-

最新推荐文章于 2021-05-26 16:17:54 发布

阅读量242

点赞数

分类专栏：错误解决文章标签： hive

本文链接：https://blog.csdn.net/weixin_42119153/article/details/103287913

版权

错误解决专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.使用mr 执行任务时报 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

FAILED: Execution Error, return code -101 from 
org.apache.hadoop.hive.ql.exec.mr.MapRedTask. HADOOP_CLASSPATH

问题解析：整合phoenix时造成的错误；
解决： 添加phoenix-xxx-hbase-xxx-hive.jar、phoenix-xxx-hbase-xxx-client.jar 、phoenix-core-xxx-HBase-xxx.jar三个jar到hive/lib目录下

参考：https://blog.csdn.net/madongyu1259892936/article/details/88355257

2.Diagnostic Messages for this Task: Error: Java heap space

Task with the most failures(4):
-----
Task ID:
  task_1574902865618_0001_m_000000

URL:
  http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1574902865618_0001&tipid=task_1574902865618_0001_m_000000
-----
Diagnostic Messages for this Task:
Error: Java heap space

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

解决：
设置 set io.sort.mb=10; 默认值是100，问题轻松解决；
其他几个参数： set hive.map.aggr=true； //在map端做部分聚合
set hive.groupby.skewindata=true;//解决数据倾斜问题

io.sort.mb 的作用
排序所使用的内存数量。
默认值：100M，需要与mapred.child.java.opts相配默认：-Xmx200m。
不能超过mapred.child.java.opt设置，否则会OOM。
参考：https://blog.csdn.net/lazythinker/article/details/52872171