提交Scala编写的WordCount程序到Spark集群

IDEA中编写Scala程序

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]) {
    //创建SparkConf()并设置App名称
    val conf = new SparkConf().setAppName("WC").setMaster("local[1]")  //提交之前应该把setMaster("local[1]")去掉
    //创建SparkContext，该对象是提交spark App的入口
    val sc = new SparkContext(conf)
    //使用sc创建RDD并执行相应的transformation和action
    sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_, 1).sortBy(_._2, false).foreach(println)
    //停止sc，结束该任务
    sc.stop()
  }
}

终端中提交

spark-submit --class WordCount --master spark://bigdata:7077 --executor-memory 2G --total-executor-cores 4 /root/Spark_pro/Spark_test_jar/Spark_test.jar hdfs://bigdata:9000/words.txt