![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
TS_6
本人较懒......
展开
-
Spark2.x详解
Spark2.x1.Spark初始1.1: 什么是Spark1.2: Spark与mapreduce的区别2.SparkCore2.1: RDD2.2 : Spark任务执行原理2.3:代码流程2.4: Transformations转换算子2.5:Action行动算子2.6:控制算子3.Spark2.x安装3. 1:下载安装包3.2: 解压并改名3.3:配置slaves文件3.4:配置spark...转载 2019-01-25 20:22:37 · 1858 阅读 · 0 评论 -
Transformations转换算子
Transformations转换算子概念: Transformations类算子是一类算子(函数)叫做转换算子,如map,flatMap,reduceByKey等。Transformations算子是延迟执行,也叫懒加载执行,需要Action算子触发才能运行常用Transformations转换算子filter: 过滤符合条件的记录数,true保留,false过滤掉map:将一...原创 2019-01-25 20:17:05 · 533 阅读 · 0 评论 -
Action行动算子
Action行动算子概念:Action类算子也是一类算子(函数)叫做行动算子,如foreach,collect,count等。Transformations类算子是延迟执行,Action类算子是触发执行。一个application应用程序中有几个Action类算子执行,就有几个job运行常用算子:count: 返回数据集中的元素数。会在结果计算完成后回收到Driver端t...原创 2019-01-25 20:18:47 · 723 阅读 · 0 评论