![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
美伊小公主的奶爸
美伊小公主的超级奶爸!
展开
-
YARN, MR History Server和Spark History Server
YARN, MR History Server和Spark History Server三者的区别:今天听到有人说, "Yarn自带的History Server"如何如何之类的。看来还有很多人把history server当做是为YARN的应用提供服务的功能。所以我想,还是有必要梳理一下YARN, YARN中的history server,以及spark的history server。原创 2016-08-02 00:23:07 · 4265 阅读 · 0 评论 -
从另一个角度观察Spark Shuffle过程
大部分将Spark Shuffle的文章,都是从读写过程,与MapReduce对比等角度来阐述的,容易割裂开各模块在Shuffle过程中的关系及相互配合的联系。本人在读这部分源码的过程中,认为理清Applicatoin, Job, Stage, Task, ApplicationMaster, Executor这些模块间的协作,及如何完成Shuffle中间文件的定位,是比较重要的,可以让人有整原创 2016-08-06 19:27:09 · 847 阅读 · 0 评论