如何准确计算Spark On Yarn资源消耗 - spark On Yarn内存计算

最新推荐文章于 2024-07-31 20:22:54 发布

置顶

天街小雨入江南

最新推荐文章于 2024-07-31 20:22:54 发布

阅读量5k

点赞数 4

分类专栏： spark 大数据 hadoop 集群搭建文章标签： spark on yarn spark spark内存计算

本文链接：https://blog.csdn.net/weixin_39911113/article/details/88533407

版权

本文详细介绍了如何计算Spark任务在YARN上的资源消耗，包括Container数量计算、Spark任务申请总资源的计算方法以及Spark On YARN内存计算的详细步骤。通过理解这些计算过程，可以更好地优化资源分配，确保Spark任务高效运行。

摘要由CSDN通过智能技术生成

spark on yarn 内存计算

摘要：相信每个写spark 的 sparker 都有过 spark on yarn 的任务提交经历，或许在你集群资源够多的情况下，我们只关注分配的资源是否能另任务顺畅的跑起来，而不会去关注生成一个spark任务最终在yarn上面消耗了多少的资源。不过如果你的集群资源并没有多到任你挥霍的程度，这篇文章可以教你如何把集群资源了如指掌。

1.Continer数量计算

Container是Yarn中的一个动态资源分配的基础概念，其拥有一定的内存，核数，由RM分配给ApplicationMaster或者MapTask或者ReduceTask，而后，我们需要的程序就在Container为基础的容器中运行起来。

public static Container newInstance(ContainerId containerId, NodeId nodeId,
			String nodeHttpAddress, Resource resource, Priority priority,
			Token containerToken) {
		Container container = Records.newRecord(Container.class);
		container.setId(containerId);
		container.setNodeId(nodeId);
		container.setNodeHttpAddress(nodeHttpAddress);
		container.setResource(resource);
		container.setPriority(priority);
		container.setContainerToken(containerToken);
		return container;
	}