spark
gzwxhcn
个人笔记的记录,让更多的人享受知识的快乐!
展开
-
Spark --【宽依赖和窄依赖】
Spark --【宽依赖和窄依赖】 前言 Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的,没涉及的shuffle的都划分在一个stage里面,这种划分依据就是RDD之间的依赖关系。针对不同的转换函数,RDD之间的依赖关系分类窄依赖(narrow de转载 2017-12-07 09:41:25 · 807 阅读 · 0 评论 -
Spark几种运行模式
spark应用执行机制分析 前段时间一直在编写指标代码,一直采用的是--deploy-mode client方式开发测试,因此执行没遇到什么问题,但是放到生产上采用--master yarn-cluster方式运行,那问题就开始陆续暴露出来了。因此写一篇文章分析并记录一下spark的几种运行方式。 1.spark应用的基本概念 spark运行模式分为:Local(本地idea上运行),S原创 2017-12-07 09:48:00 · 437 阅读 · 0 评论