spark2.2.0源码阅读---spark core包 --- network

最新推荐文章于 2022-11-14 16:45:03 发布

danlial

最新推荐文章于 2022-11-14 16:45:03 发布

阅读量183

点赞数

分类专栏： spark源码文章标签： spark spark源码

本文链接：https://blog.csdn.net/dianlial/article/details/80433850

版权

spark源码专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1、本文目标以及其它说明：

本文主要是介绍network包下面的类

2、network包下面的数据结构说明

trait BlockDataManager { //主要干3件事情 1 、通过blockid将块存储在本地 2、通过blockid将块从本地取

出来。3、释放1/2步获取的锁

private[spark]
abstract class BlockTransferService extends ShuffleClient with Closeable with Logging {

上一个是存储、拉取的是本地的，这个是用来存储和拉取远端的数据，而且有同步异步之分。

class NettyBlockRpcServer(
    appId: String,
    serializer: Serializer,
    blockManager: BlockDataManager)
  extends RpcHandler with Logging {  服务器，用来存储远端发来的block，发送远端请求的block和上面

第二个接口相对应。

private[spark] class NettyBlockTransferService(
    conf: SparkConf,
    securityManager: SecurityManager,
    bindAddress: String,
    override val hostName: String,
    _port: Int,
    numCores: Int)
  extends BlockTransferService {

向远端抓取或者上传block的具体netty实现。