hive insert overwrite table 报错解决方案
初用hadoop体系中的hive和hbase。在hive中建了一个外部表,指定的是hbase的某一张表。数据量差不多有3亿左右
在用insert overwrite table 时报了如下的错误:
上面报错原因是因为数据量太大,网上说什么mapreduce的任务内存溢出了。由于我的没有看到yarn的日志
正常的排查流程为应该查看yarn日志出现问题,由于我也是刚接触,不知道在服务器哪里查看yarn日志。
后来把语句拆入末尾加上distribute byxx; 加上任意一个字段再次执行成功插入。
.
原创
2020-08-19 15:34:54 ·
4462 阅读 ·
1 评论