Spark On Yarn中Yarn分配资源的时候vcore怎么理解

Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量?

这是因为集群中可能不是所有的机器都是同一种规格的,有的cpu处理能力强,有的弱。假设性能强的一个physical core计算能力相当于弱的3倍,这个时候,可以指定处理能力强的那个cpu一个physical core为3个vcore,而弱的一个physical core为1个vcore,分配资源的如果需要提供6个vcore,那计算能力强的那个只需要提供2个physical core即可,达到了负载均衡的效果,更加合理的利用了资源。

  • 9
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLO高分设计资源源码,详情请查看资源内容使用说明 YOLO高分设计资源源码,详情请查看资源内容使用说明 YOLO高分设计资源源码,详情请查看资源内容使用说明 YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明YOLO高分设计资源源码,详情请查看资源内容使用说明
Spark on YARN是一种常用的Spark运行模式,它可以在Hadoop YARN集群上运行。Spark on YARN支持两种提交任务的方式,即YARN client模式和YARN cluster模式。在YARN client模式下,Spark驱动程序运行在客户端上,而在YARN cluster模式下,Spark驱动程序运行在YARN集群上。 在使用Spark on YARN时,可以使用以下命令提交作业: ``` ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-xx.jar 100 ``` 这个命令将以YARN cluster模式提交一个Spark作业,其`--master yarn`表示使用YARN作为Spark的主节点,`--deploy-mode cluster`表示以集群模式运行作业,`--class org.apache.spark.examples.SparkPi`指定了作业的入口类,`../lib/spark-examples-xx.jar`是作业的jar包路径,`100`是作业的参数。 另外,还可以使用以下命令以YARN client模式提交作业: ``` ./spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-xx.jar 100 ``` 这个命令将以YARN client模式提交一个Spark作业,其`--master yarn-client`表示使用YARN作为Spark的主节点,并将驱动程序运行在客户端上。 通过以上命令,可以在Spark on YARN上成功提交和运行Spark作业。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Spark on Yarn详解](https://blog.csdn.net/WuBoooo/article/details/109479311)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值