qq_21744859的博客

原创 图解Spark源码（一）--- Spark 通信架构

Spark1.6 之前使用的是 Akka 作为内部通讯组件，Spark1.6 之后将 Akka 换成了 Netty。但是它借鉴了 Akka 中的设计，即 Actor 模型。Spark 是一个分布式计算系统，因此节点间存在很多通信，那么Spark 就会借助这些通讯框架进行RPC 通信。driver 和 master 之间的通信，比如 driver 回向 master 申请计算资源。