![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark源码+理论
进行spark系列的源码以及理论总结专栏
猿来如此dj
目前西安工作-航天宏图公司大数据开发工程师,欢迎大家交流。
展开
-
(一)spark算子解释:Transformations+Action
一、Transformations转换算子 filter:过滤符合条件的记录数,true的保留、false的过滤 map:将RDD中的数据项,通过map中的函数映射变为一个新的元素(1进1出) mapPartition:执行结果与map相同,但是可以一次遍历整个patition mapPartitionWithIndex:类似于mapPartitions,除此之外还会携带分区的索引值 mapToP...原创 2019-12-11 23:06:38 · 102 阅读 · 0 评论 -
hadoop和spark源码下载学习
spark下载:官网:http://spark.apache.org/downloads.html 选择Choose a Spark release: Choose a package type:source code(必须选此) 1.1:idea导入 1.2 导入设置 1.3完成原创 2019-08-25 18:07:40 · 161 阅读 · 0 评论 -
(二)windows用maven编译spark源码
spark源码下载问题解决 知道 多尝试几次下载即可 2:缺失log4配置 将hadoop安装包里的文件放到conf下即可原创 2019-10-17 20:29:51 · 622 阅读 · 0 评论