JavaBigData_Spark先知

// Scala入门案例 ---- demo01
package com.baizhi.demo01

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

// 五大元素
object SparkWordCount {

  // main
  def main(args: Array[String]): Unit = {//Driver

    // 1.创建SparkContext
    val sparkConf = new SparkConf()
      .setAppName("wordcount")
      .setMaster("spark://CentOS:7077")
    val sc = new SparkContext(sparkConf)

    // 2.创建分布式集合RDD -细化
    val lines:RDD[String] = sc.textFile("hdfs:///demo/words")

    // 3.对数据集合做转换 - 细化
    val transformRDD:RDD[(String,Int)] = lines.flatMap(_.split(" ")).map((_, 1)).groupBy(t => t._1).map(t => (t._1, t._2.size)).sortBy(t => t._2, false, 4)

    // 4.对RDD做Action动作提交任务 -细化
    transformRDD.saveAsTextFile("hdfs:///demo/results")

    // 5.释放资源
    sc.stop()
  }
}