![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
壮志-凌云
用心搬砖
展开
-
spark资源调度源码浅谈
纸上得来终觉浅,觉知还是要撸代码 此文章适合以下人群参考: 1.接触过spark,有spark基础的同学 2.知其然不知其所以然的同学 3.对于源码好奇的同学 4.大神勿看 大家都知道,大数据中,其实最紧张的就是资源,那么如何利用有限的资源提高运算与吞吐,就是一个框架的核心。一直觉得spark是一个不错的大数据框架,那么spark怎么解决资源调度的问题? 下面我们简单梳理一下spark的资源调度流...原创 2018-11-06 17:07:51 · 471 阅读 · 0 评论 -
spark任务调度源码浅析
废话: 因为前几天比较了idea和eclipse感觉查询上idea好用,想试试idea,但是用它挖了几天源码后。idea不熟练,挖代码苦不堪言,再度回到eclipse中。 **前言:**上篇已经讲解过spark1.6版本中资源调度的源码,standalone-cluster模式如何实现。今天再扒一扒spark中任务调度的实现。大家都知道,大数据中,计算向数据移动,我个人理解的其实就是计算向资源移动...原创 2018-11-08 15:56:39 · 264 阅读 · 0 评论