方式一:
方式二:
方式三:
Yarn的实际资源
通过container,可以设置Yarn的最小、最大内存,一般根据现有的集群资源来分配代码资源——内存和CPU核数
举个例子:假设集群中有100G可用内存,20个可用CPU核,则可设置参数如下,尽最大化使用集群资源,提高运行效率
num-executors=10,executor-cores=2,executor-memory=10
方式一:
方式二:
方式三:
Yarn的实际资源
通过container,可以设置Yarn的最小、最大内存,一般根据现有的集群资源来分配代码资源——内存和CPU核数
举个例子:假设集群中有100G可用内存,20个可用CPU核,则可设置参数如下,尽最大化使用集群资源,提高运行效率
num-executors=10,executor-cores=2,executor-memory=10