yarn中container、mr内存的配置,控制container个数
最近项目在用kylin,在搭建开发环境和测试环境后,然后在kylin上建cube,kylin建cube的实际就是调用集群的MR跑任务(也可以调用spark作为引擎),在数据量小或者维度(kylin里面的一个概念)少的时候没问题,后来数据量大或维度多了,就经常出现OOM的问题。 其实一开始就知道是并行度过高的问题,也尝试过在kylin里面调试,但并没有用。后来通过jps查看yarnchil...
原创
2018-08-26 22:12:55 ·
16225 阅读 ·
4 评论