![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
stuliper
这个作者很懒,什么都没留下…
展开
-
spark 启动流程 源码解析
简单例子 object sum { def main(args: Array[String]): Unit = { val conf =new SparkConf().setAppName("SUM"); conf.setMaster("local[3]") val size=1024*1024*1024; val sc=new SparkContext(c...原创 2018-08-21 17:01:03 · 1423 阅读 · 0 评论 -
spark stage
spark RRD 依赖关系: 窄依赖:每个父RRD的分区至多被一个子RDD的分区使用,协同划分,分区一一对应。 宽依赖(ShuffleDependecy):多个子RDD的分区依赖一个父RDD的分区。宽依赖需要所有的父RDD分区数据可用。宽依赖会重新分区。 宽依赖操作会有一个可选参数(手动设置分区数)。 宽依赖对应的RDD实现是Shu...原创 2018-08-09 15:54:46 · 333 阅读 · 0 评论 -
spark RDD
每个RDD都有其对应的依赖,依次索引,就可以追踪到起始RDD(其依赖为空) 当前RDD的逻辑处理都是对其父RDD的操作,当前RDD数据是对其父RDD数据做compute(~)获得的,这种操作实现了RDD的惰性加载 spark RRD 依赖关系: 窄依赖:每个父RRD的分区至多被一个子RDD的分区使用,协同划分,分区一一对应。 宽依赖:多个子RDD的分区依赖一个父RDD的分区。多对多的...原创 2018-08-09 16:09:47 · 136 阅读 · 0 评论 -
windows idea pyspark python运行spark程序
1,安装python3 安装python3,添加到系统环境变量path中:D:\Python37;D:\Python37\Scripts 安装pip组件 pip install py4j 2,安装intellJ idea 安装好intellJ idea 安装python插件,配置python 3,下载hadoop安装包 ...原创 2018-09-06 09:15:41 · 2160 阅读 · 0 评论