Spark学习之（三） 小例子

Spark学习之（三） 小例子

2017年10月8日

14:11

  

• 使用map filter

  scala> sc.parallelize(List(1,2,3,4,5,6)).map(_ * 2).filter(_>5).collect

  res1: Array[Int] = Array(6, 8, 10, 12)

    

• Wordcount

  

    

  

    

  

    

    

  val rdd = sc.textFile("/home/linxi/Documents/workspace/spark/word.data")

  //rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

  //这里使用reduceByKey,其实就是按key分组然后把value值相加

  val wordcount = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

  wordcount.saveAsTextFile("/home/linxi/Documents/workspace/spark/result.data")

    

  //还有一种是groupByKey，这个是纯粹的分组，分完组里面的value会生成一个array。如下：

  

    

• 使用union

  

• 使用Join

  生成笛卡尔积

    

• 排序

  将1中生成的结果按照value从大到小排序

  小技巧：有sortByKey这个函数，可以把key和value调换位置然后在排序，等排完序之后再把key 和value调换回来。

  

    

  

    

    

    

  Spark standalone 提交

  # Run on a Spark standalone cluster
  ./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000