![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark算子系列文章
文章平均质量分 81
羽翼天宇
机会永远是留给有准备的人的,每天都要不断的有所进步,越努力,越幸运
展开
-
Spark算子系列文章------------Spark算子:RDD基本转换操作(1)–map、flatMap、distinct
Spark算子系列文章------------Spark算子:RDD基本转换操作(1)–map、flatMap、distinct关键字:Spark算子、Spark RDD基本转换、map、flatMap、distinctmap 将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。 输入分区与输出分区一对一,即:...原创 2018-07-29 17:24:10 · 603 阅读 · 1 评论 -
Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally
Spark算子:RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally关键字:Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocallygroupByKeydef groupByKey(): RDD[(K, Iterable[V])]def groupByKey(...原创 2018-08-01 12:17:45 · 368 阅读 · 0 评论 -
Spark算子系列文章----------Spark算子:RDD基本转换操作(3)–randomSplit、glom
Spark算子:RDD基本转换操作(3)–randomSplit、glom关键字:Spark算子、Spark RDD基本转换、randomSplit、glomrandomSplitdef randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]该函数根据weights权重...原创 2018-08-02 09:17:01 · 603 阅读 · 0 评论 -
Spark算子系列文章----------Spark算子:RDD基本转换操作(4)–union、intersection、subtract
Spark算子:RDD基本转换操作(4)–union、intersection、subtract 关键字:Spark算子、Spark RDD基本转换、union、intersection、subtractuniondef union(other: RDD[T]): RDD[T]该函数比较简单,就是将两个RDD进行合并,不去重。 scala> var rdd1 ...原创 2018-08-02 09:17:42 · 143 阅读 · 0 评论 -
Spark算子系列文章----------Spark算子:RDD基本转换操作(6)–zip、zipPartitions
Spark算子:RDD基本转换操作(6)–zip、zipPartitions关键字:Spark算子、Spark RDD基本转换、zip、zipPartitionszipdef zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]zip函数用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD...原创 2018-08-02 09:18:07 · 219 阅读 · 0 评论 -
Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues
Spark算子:RDD键值转换操作(1)–partitionBy、mapValues、flatMapValues 关键字:Spark算子、Spark RDD键值转换、partitionBy、mapValues、flatMapValuespartitionBydef partitionBy(partitioner: Partitioner): RDD[(K, V)]该函数根据partit...原创 2018-08-02 09:19:21 · 510 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
Spark算子:RDD行动Action操作(1)–first、count、reduce、collect 关键字:Spark算子、Spark RDD行动Action、first、count、reduce、collectfirstdef first(): Tfirst返回RDD中的第一个元素,不排序。 scala> var rdd1 = sc.makeRDD(Arra...原创 2018-08-01 12:16:46 · 1229 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
Spark算子:RDD行动Action操作(2)–take、top、takeOrdered关键字:Spark算子、Spark RDD行动Action、take、top、takeOrderedtakedef take(num: Int): Array[T]take用于获取RDD中从0到num-1下标的元素,不排序。 scala> var rdd1 = sc.makeRD...原创 2018-08-01 12:16:31 · 1764 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup
Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup 关键字:Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookupaggregatedef aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit...原创 2018-08-01 12:16:16 · 390 阅读 · 0 评论 -
Spark算子:RDD键值转换操作(4)–cogroup、join
Spark算子:RDD键值转换操作(4)–cogroup、join 关键字:Spark算子、Spark RDD键值转换、cogroup、joincogroup##参数为1个RDDdef cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]def cogroup[W](other: RDD[(K...原创 2018-08-01 12:17:27 · 206 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDatasetsaveAsNewAPIHadoopFil...原创 2018-08-01 12:14:37 · 1319 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsHadoopFile、saveAsHadoopDatasetsaveAsHadoopFiledef saveAsHadoopFile(path: ...原创 2018-08-01 12:15:00 · 1721 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile 关键字:Spark算子、Spark函数、Spark RDD行动Action、Spark RDD存储操作、saveAsTextFile、saveAsSequenceFile、saveAsObjectFilesaveAsTextFiledef...原创 2018-08-01 12:15:21 · 719 阅读 · 0 评论 -
Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy 关键字:Spark算子、Spark函数、Spark RDD行动Action、countByKey、foreach、foreachPartition、sortBycountByKeydef countByKey(): Map[K, Long]cou...原创 2018-08-01 12:15:55 · 424 阅读 · 0 评论 -
Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey
Spark算子:RDD键值转换操作(2)–combineByKey、foldByKey关键字:Spark算子、Spark RDD键值转换、combineByKey、foldByKeycombineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeComb...原创 2018-08-02 09:19:49 · 195 阅读 · 0 评论