SparkRpc通信源码分析(简单易懂的源码分析)
本文我们介绍一下Spark的Rpc网络框架,Spark框架当中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等,在Spark0.x.x与Spark 1.x.x版本中组件之间的消息通信都借助于Akka,但是在Spark2.0版本中,基于Akka实现的Rpc被废弃掉,2.x和之后都使用的是Netty。本文介绍的版本是Spark2.3
SparkRpc整体架构图
我们先拿一个混入RpcEndpoint的组件Master
原创
2021-07-16 19:20:12 ·
700 阅读 ·
3 评论