- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop内存超限的解决方法
Hadoop内存超限的解决方法解决方法 解决方法 当运行hql时，有时会提示内存超限，这是只需要修改一个配置就可以完美的解决。 set stream.memory.limit=1600; 添加此配置的前提是以下两个配置都为 false，默认值为 false，如果没有刻意的修改，可以忽略。 set abaci.use.hard.limit=false; set abaci.use.memory.hard.limit=false; ...
2021-01-08 17:01:16
1083
原创 数据倾斜
数据倾斜数据倾斜执行原因小结解决总结 数据倾斜 什么是数据倾斜？ 1、字面理解是数据偏向于某一方。 2、其实就是大量相同的key被partition分配到一个分区里。 执行 我们在平台执行任务中，卡在一个点持续时间过长，任务进度长时间维持在99%（33%、66%或100%）。任务实际是在执行，查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为处理的数据量和其他reduce差异过大，需要时间，莫慌。 Hive的数据倾斜，一般都发生在Sql中Group和On上，而且和数据逻辑绑定
2020-09-09 20:54:16
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人