Spark
文章平均质量分 76
生活丶对我笑
平凡的程序员
展开
-
spark算子详解------Transformation算子介绍
本文首发自个人博客:https://blog.smile13.com/articles/2018/12/02/1543738193387.html一、Value数据类型的Transformation算子 1.输入分区与输出分区一对一类型的算子1.1.map算子功能:map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD,任何原RDD中的元素在新RDD中都有且仅有一...原创 2018-12-07 22:07:19 · 385 阅读 · 0 评论 -
spark简介
本文首发自个人博客:https://blog.smile13.com/articles/2018/11/27/1543334043340.html1.Spark是什么 Spark,是一个围绕速度、易用性和复杂分析构建的通用大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架:比...原创 2018-11-30 20:16:46 · 314 阅读 · 0 评论 -
spark算子详解------spark算子分类
本文首发自个人博客:https://blog.smile13.com/articles/2018/12/02/1543738098914.html1.spark算子分类1.1Transformation算子Transformation算子不触发提交作业,完成作业中间处理过程。Transformation算子又分为如下两类:1.Value数据类型的Transformation算子:针...原创 2018-12-03 17:48:11 · 515 阅读 · 0 评论 -
spark算子详解------Action算子介绍
本文首发自个人博客:https://blog.smile13.com/articles/2018/11/30/1543589289882.html一、无输出的算子1.foreach算子功能:对 RDD 中的每个元素都应用 f 函数操作,无返回值。源码:/*** Applies a function f to all elements of this RDD. */...原创 2018-12-23 11:48:45 · 696 阅读 · 1 评论