Spark
sun_duoLong
闻之不若见之,见之不若知之,知之不若行之。
展开
-
Spark独到见解--1、什么是Spark?及和MR的区别
Spark基础及和MR的区别原创 2017-11-10 18:55:42 · 2255 阅读 · 0 评论 -
Spark独到见解--2总技术栈见解之SparkCore
1) RDD 1) 概念 RDD(Resilient Distributed Dateset),弹性分布式数据集。 2) RDD的五大特性: 1. RDD是由一系列的partition组成的。 2. 函数是作用在每一个partition(split)上的。 3. RDD之间原创 2017-11-13 14:07:05 · 428 阅读 · 0 评论 -
Spark独到见解--3控制算子
算法原创 2017-11-13 19:50:54 · 311 阅读 · 0 评论 -
Spark独到见解--Transformation算子总结
算子总结原创 2017-11-13 20:08:55 · 423 阅读 · 0 评论 -
Spark独到见解--Action算子总结
Action行动算子 1、count 返回数据集中的元素数。会在结果计算完成后回收到Driver端。 2、take(n) 返回一个包含数据集前n个元素的集合。 3、first first=take(1),返回数据集中的第一个元素。 4、foreach 循环遍历数据集中的每个元素,运行相应的逻辑。5、 collect原创 2017-11-13 21:39:57 · 474 阅读 · 0 评论