![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark on yarn
会飞的企鹅0000
这个作者很懒,什么都没留下…
展开
-
DAG任务
有向无环图任务调度算法DAG ----- 图论中,如果有向图中任意一个顶点从该点出发经过任意边都无法回到该点,那么这个图称为有向无环图。DAG常常用于多个任务的调度,各个任务之间可能存在依赖关系。所以一个工程划分为不同的任务, 有开始任务和结束任务,通过合理规划执行小任务的顺序,确保总工期最短。在DAG中,顶点表示事件,顶点之间的连线表示活动,权值表示时间。设x原创 2016-09-02 12:00:50 · 2472 阅读 · 0 评论 -
yarn 集群
Hadoop 原MapReduce框架JobClient会发送一个Job,JobTracker来管理这个Job的信息,要在哪个机器上运行,用到哪个机器的资源。还要定时向各个TaskTrack发送heartbeat,收集Job的执行情况。 JobTracker作为MapReduce框架的核心,起到分配资源,管理Job成功失败的作用。TaskTracker则分布在每个机器上,通过heart原创 2016-09-01 09:53:13 · 358 阅读 · 0 评论 -
Spark的action和transformation
http://blog.csdn.net/egraldloi/article/details/16343733http://www.cnblogs.com/dasn/articles/5644919.html弹性分布式数据集(Resilient Distributed Dataset ,RDD),它是逻辑集中的实体,但在集群中的多台机器上进行了分区。通过对多台机器上不同RDD联合分转载 2016-09-02 16:18:59 · 325 阅读 · 0 评论