在Spark on Yarn集群上运行Spark jar包,结果报错:
container *** is running beyond virtual memory limits……
问题分析:
yarn-site.xml 中关于资源的配置有问题。
yarn.nodemanager.resource.memory-mb = 3072,默认8192
yarn.scheduler.minimum-allocation-mb =150
yarn.scheduler.maximum-allocation-mb 默认8192
yarn.nodemanager.vmem-pmem-ratio 默认 2.1
其中 yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.vmem-pmem-ratio 都用了默认的配置。