浅析：SparkShuffle 文件寻址

废话不多说，先上分析示意图：

文件寻址：
关于文件寻址中比较重要的两个对象：mapOutputTracker和BlockMananager。
这两个对象都是主从对象
m君有两个身份——m-Master（位于driver）和m-Worker（位于Executer）
b君亦然——b-Master（位于driver）和b-Slave（位于Executer）。
b君负责管理磁盘数据：
DiskStore————管理磁盘文件
MemoryStore——————管理内存文件
BlockTransferService————负责拉取数据

寻址过程大体如下：

当数据落地磁盘后，MapTask处理完数据，将数据的结果和位置以MapStuts对象形式汇报给Driver。
Reduce端拉取数据时，worker端会向Driver端要求获取文件位置，并让bB同志连接数据所在节点并将数据拉到Executor。
连接之后，会由BlockTransferService将数据拉到内存（不能超过48M，可调，如果内存不能满足就直接OOM）。

and，下面附一张spark内存管理示意图：