Hive
wunanliu
看成败,人生豪迈
展开
-
Cloudera Manager,离线搭建CDH大数据平台,版本5.15.2
Cloudera Manager及CDH版本安装全程记录 大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能...原创 2019-10-21 20:14:12 · 1021 阅读 · 0 评论 -
Hive多表连接异常,java.lang.ArrayIndexOutOfBounds :140,官方Bug,在3.0.0版本已经被解决了
后续官方解决方案:https://issues.apache.org/jira/browse/HIVE-14564 异常详细情况 2019-02-28 16:33:44,429 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Got allocated ...原创 2019-03-01 10:20:45 · 5282 阅读 · 0 评论 -
Hadoop运行离线任务,Hive跑MR任务时候,出现Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
一、首先抛出异常问题 二、引发问题原因: 表连接,左表数据100W,右表数据 300W,进行左右表进行表关联,进行Count进行数据统计,等待运行结果!!! 分析问题,查看上述运行流程,即可了解上述异常,查看详细日志信息,URL:即可见到首页出现的问题 三、查看页面可见,有如下图片 四、由上图和图一可知,此MR程序为 Map端出错,出错程序问题问 内存不足,初步怀疑为 Ma...原创 2019-03-29 16:02:14 · 5093 阅读 · 0 评论