Sparl:Map算子

最新推荐文章于 2021-12-30 13:50:34 发布

茂密头发的源猴

最新推荐文章于 2021-12-30 13:50:34 发布

阅读量275

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_48109576/article/details/107901524

版权

语法

val newRdd = oldRdd.map(func)

源码

def map[U](f : scala.Function1[T, U])(implicit evidence$3 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[U] = { /* compiled code */ }

作用

返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成

例子:

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // map算子
        val listRdd:RDD[Int] = sc.makeRDD(1 to 10)

        val mapRdd = listRdd.map( x=>x*2 )

        mapRdd.collect().foreach(println)
    }
}

input:
1 2 3 4 5 6 7 8 9 10
output:
2 4 6 8 10 12 14 16 18 20