spark RDD常用算子介绍

package com.cn.RDD


import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds


//本地测试环境
object RDDtest {


  def main(args: Array[String]){
  val conf = new SparkConf()
  conf.setAppName("test")
  conf.setMaster("local")
  val sc = new SparkContext(conf)
  
  val ssc = new StreamingContext(sc, Seconds(1))


  //value类型算子
  //first  取RDD中第一个元素
 /* val rdd=sc.makeRDD(Array(("aa",1),("bb",1),("bb",1),("cc",1)))
  println(rdd.first)*/
  
  //reduce  RDD元素累加
  /*val rdd=sc.makeRDD(Array(1,2,3,4,5,6))
  println(rdd.reduce(_+_))*/
  
  //top  降序排列     takeOrdered升序排列
  val rdd=sc.makeRDD(1 to 10)
  rdd.top(2).foreach(println _)
  rdd.takeOrdered(2).foreach(println _)
  
  //lookup 根据指定的key去获取value
  
  //foreach 作用与每一个函数
  
  //map mapPartitions
  //map作用于所有元素    mapPartitions作用与分区
  
  
  //foreach  foreachPartition
  //foreach 作用于每个元素   foreachPartition作用于每个分区     
  }
 
}