书-spark设计与实现-第一部分:spark的基本流程
spark安装部署spark架构以standalone为例task是spark最小的计算单位,不能再被拆分角色master和driver不一样,master是资源调度的主,driver是所在app任务的主。master只有一个,但driver会有多个。yarn模式下,RM就是master,而app的driver就是driver。master是宾馆老板,有3个房间,现在有3个旅游团来入住,每个旅游团的人数(task)不同,所以不能简单的一个团一个房间,而是每个房间都分布每个团的人,这样既能合理利用
原创
2020-10-01 23:05:58 ·
100 阅读 ·
0 评论