![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
又乖又怂
岁月留痕,只及肌肤。
展开
-
Spark RDD操作之Action操作
first def first(): T first返回RDD中的第一个元素,不排序。 scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) rdd1: org.apache.spark.rdd.RDD[(String, String)] = ParallelCollectionRDD[33] at mak...翻译 2020-03-01 20:49:37 · 366 阅读 · 0 评论 -
Spark RDD操作之键值转换
partitionBy def partitionBy(partitioner: Partitioner): RDD[(K, V)] 该函数根据partitioner函数生成新的ShuffleRDD,将原RDD重新分区。 scala> var rdd1 = sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2) rdd1: org.apac...翻译 2020-03-01 20:36:30 · 315 阅读 · 0 评论 -
Spark RDD操作之基本转换
map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例: scala> val a = sc.parallelize(1 to 9, 3) scala> val b = a.map(x => x*2) scala> a.collect res10: Array[Int] = Arra...翻译 2020-02-23 22:07:27 · 338 阅读 · 0 评论 -
Spark特性
从spark官网看spark特性。 spark是apache的顶级项目,所以官网地址spark加上apache.com http://spark.apache.org/ 1、spark是什么 Apache Spark™ is a unified analytics engine for large-scale data processing. spark是针对于大规模数据处理的统一分析引擎。 sp...原创 2020-01-03 00:01:22 · 168 阅读 · 0 评论