基于Scala的RDD运算

def addOne(x:Int):Int =
    {
      return (x+1)
    }
    //map运算：对RDD中每一个元素做一个转换操作，生成一个新的RDD
    println("使用具体的函数完成map运算："+intRDD.map(addOne).collect().mkString(","))
    println("使用匿名函数完成map运算："+intRDD.map(x=>x+1).collect().mkString(","))
    println("使用匿名函数和匿名参数完成map运算："+intRDD.map(_+1).collect().mkString(","))

    println("使用匿名函数完成map运算："+stringRDD.map(x=>"fruit"+x).collect().mkString(","))

    //filter运算：对RDD中每一个元素进行筛选，生成一个新的RDD
    println("使用匿名函数筛选intRDD中小于5的元素："+intRDD.filter(x=>x < 5).collect().mkString(","))
    println("使用匿名函数和匿名参数筛选intRDD中小于5的元素："+intRDD.filter(_ < 5).collect().mkString(","))
    println("使用匿名函数筛选stringRDD中包含ra的元素："+stringRDD.filter(x=>x.contains('ra)).collect().mkString(","))

    //distinct运算：对RDD中元素进行去重
    println("对intRDD元素进行去重"+intRDD.distinct().collect().mkString(","))
    println("对StringRDD元素进行去重"+stringRDD.distinct().collect().mkString(","))

    //randomSplit运算，按照指定的比例将RDD进行划分
    val sRDD = intRDD.randomSplit(Array(0.4,0.6))
    println("分割后第一个RDD为："+sRDD(0).collect().mkString(","))
    println("分割后第二个RDD为："+sRDD(1).collect().mkString(","))

    //groupBy运算：可以按照传入的匿名函数规则，将数据分为多个Array,返回Array[(String,Iterable[Int])]
    val gRDD = intRDD.groupBy(x => {if(x%2==0) "even" else "odd"}).collect()
    println("偶数数组为："+gRDD(0))
    println("奇数数组为："+gRDD(1))