- 博客(2)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 大数据：Spark Shuffle（三）Executor是如何fetch shuffle的数据文件
1. 前言在前面的博客中讨论了Executor, Driver之间如何汇报Executor生成的Shuffle的数据文件，以及Executor获取到Shuffle的数据文件的分布，那么Executor是如何获取到Shuffle的数据文件进行Action的算子的计算呢？在ResultTask中，Executor通过MapOutPutTracker向Driver获取了ShuffID的Shuffle数据
2017-05-09 17:13:48
4475
4
原创 大数据：Spark Shuffle（二）Executor、Driver之间Shuffle结果消息传递、追踪
1. 前言在博客里介绍了ShuffleWrite关于shuffleMapTask如何运行，输出Shuffle结果到文件Shuffle_shuffleId_mapId_reduceId.data文件中，每个executor需要向Driver汇报当前节点的Shuffle结果状态，Driver保存结果信息进行下个Task的调度。2. StatusUpdate消息当Executor运行完Task的时候需要
2017-05-03 15:07:08
4446
1
jdk1.6.23 libsaproc.so linux 下amd64架构
详细请看：
Java 工具（jmap,jstack）在linux上的源码分析(五) -F 参数的bug的解决lib
（http://blog.csdn.net/raintungli/article/details/7245709）
自己编译的，测试能够通过
2012-02-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人