![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bigdata
文章平均质量分 76
生活丶对我笑
平凡的程序员
展开
-
spark简介
本文首发自个人博客:https://blog.smile13.com/articles/2018/11/27/1543334043340.html 1.Spark是什么 Spark,是一个围绕速度、易用性和复杂分析构建的通用大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架:比...原创 2018-11-30 20:16:46 · 302 阅读 · 0 评论 -
spark算子详解------Transformation算子介绍
本文首发自个人博客:https://blog.smile13.com/articles/2018/12/02/1543738193387.html 一、Value数据类型的Transformation算子 1.输入分区与输出分区一对一类型的算子 1.1.map算子 功能:map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD,任何原RDD中的元素在新RDD中都有且仅有一...原创 2018-12-07 22:07:19 · 380 阅读 · 0 评论 -
spark算子详解------spark算子分类
本文首发自个人博客:https://blog.smile13.com/articles/2018/12/02/1543738098914.html 1.spark算子分类 1.1Transformation算子 Transformation算子不触发提交作业,完成作业中间处理过程。Transformation算子又分为如下两类: 1.Value数据类型的Transformation算子:针...原创 2018-12-03 17:48:11 · 510 阅读 · 0 评论 -
spark算子详解------Action算子介绍
本文首发自个人博客:https://blog.smile13.com/articles/2018/11/30/1543589289882.html 一、无输出的算子 1.foreach算子 功能:对 RDD 中的每个元素都应用 f 函数操作,无返回值。 源码: /** * Applies a function f to all elements of this RDD. */ ...原创 2018-12-23 11:48:45 · 691 阅读 · 1 评论