![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
w4xj
业精于勤荒于嬉
展开
-
spark概述及Java wordcount、Scala wordcount
1.spark是什么 [1].官网 http://spark.apache.org/ [2].是什么 Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark is an open source cluster computing system that aims to ...原创 2019-06-09 17:43:42 · 230 阅读 · 0 评论 -
RDD与算子
1.RDD [1].概念 RDD(Resilient Distributed Dateset),弹性分布式数据集。 [2].RDD的五大特性: ①.RDD是由一系列的partition组成的。 ②.函数是作用在每一个partition(split)上的。 ③.RDD之间有一系列的依赖关系。 ④.分区器是作用在K,V格式的RDD上。 ⑤.RDD提供一系列最佳的计算位置。利于数据处...原创 2019-09-22 15:39:34 · 936 阅读 · 1 评论