YARN
关注
分享
扫一扫
张超_
这个作者很懒，什么都没留下…
展开
-
YARN的内存管理 与 CDH集群管理之角色组
0x00前言 现在一般都使用CM来管理集群，这是一个很好的管理集群工具，使集群便于维护，其中有一点他们推荐一些默认的配置，省去了我们手动选择的烦恼。但是还是由不少小毛病，最近就遇到了分配给YARN管理的集群资源太少的问题。 主机配置如下（每台15G的内存）： YARN集群实际管理的内存（只有3G）： 0x01 YARN管理的内存为什么这么小？大小由什么决定？ 1：YARN 的RM 所管理...原创 2019-06-25 13:45:25 · 1183 阅读 · 0 评论 -
MapReduce 作业java heap space（记录蛋疼的一天）
描述：记录作业相关的异常，本次作业是用sqoop导mysql数据到hive http://www.imooc.com/article/253941 YARN调优完美版 一 YARN 作业的java heap space 日志如下： ERROR [IPC Server handler 7 on 43205] org.apache.hadoop.mapred.TaskAttemptListenerIm...原创 2019-06-27 09:26:15 · 1790 阅读 · 0 评论