Yarn和Spark的StandAlone调度模式的对比:
MapReduce中的maptask和reducetask都是在YarnChild中进行计算的,YarnChild是一个进程,使用jps命令可以看到
1.yarn中的ResourceManager和Spark中的master作用:都是管理子节点,资源调度,接收任务请求
2.yarn中的nodemanager和spark中的worker:管理当前节点,并管理子进程,对于nodemanager来说,子进程是yarnchild和appmaster,对于worker来说就是Executor
3.YarnChild和Executor,是运行真正的计算逻辑
4.yarn中的client用于提交任务,上传jar包,ApplicationMaster负责管理YarnChild
5.spark中的SparkSubmit相当于yarn中的client+ApplicationMaster,SparkSubmit的作用是提交任务,管理该任务的Executor,并将Task提交到Executor中去执行
Yarn和Spark的StandAlone调度模式的对比
最新推荐文章于 2024-05-21 21:41:07 发布