- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark shuffle学习笔记
spark shuffle学习笔记Shuffle就是包裹在各种需要重分区的算子之下的一个对数据进行重新组合的过程。Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程shuffleshuffle连接map与reduce过程Map阶段通过shuffle读取数据并输出到对应的ReduceReduce阶段负责从Map端拉...
2018-10-30 20:39:33
258
原创 spark学习笔记
spark学习笔记1. hadoop四大组件HDFS ：分布式存储系统MapReduce ：分布式计算系统YARN ：资源调度系统Common ：底层支持组件2. spark RDDResilient Distributed Dataset ：弹性分布式数据集RDD属性 ：（1）partition ：分片，数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理...
2018-10-30 20:30:17
206
原创 RDMA学习笔记
RDMA学习笔记基本操作Memory verbs : 包括 RDMA read,write,atomic 操作，绕过接受者的CPUMessaging verbs ：包括RDMA send,receive 操作，涉及响应者的CPU三种不同的硬件实现三种实现为 ：Infiniband，RoCE，iWRPInfiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ，...
2018-10-30 20:28:55
1479
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人