使用 Scala 写WordContext程序

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

package  mydemo   import  org.apache.spark.{SparkConf, SparkContext}   object  MyWordContextDemo {    def  main(args :  Array[String]) :  Unit  =  {      // 创建一个 Config      val  conf  =  new  SparkConf().setAppName( "MyWordContext" )        // 创建 SparkContext 对象      val  sc  =  new  SparkContext(conf)        // 使用sc 对象执行相应的算子      sc.textFile(args( 0 ))                     // 从第一个参数获取文件路径并打开        .flatMap( _ .split( " " ))               // 先 map 再压平        .map(( _ ,  1 ))                         // 将单词和 1 构成元组        .reduceByKey( _  +  _ )                  // 根据Key 进行 Reduce，并将 value 累加        .saveAsTextFile(args( 1 ))             // 将结果输出到文件        // 停止 SparkContext 对象      sc.stop()      }   }

==> 运行程序：

    ---> 首先将程序打包成 jar 包

    ---> 执行以下命令

1	spark-submit --master spark : //bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt

    ---> 命令解释：

        ---- spark-submit                                    spark 命令

        ---- --master spark://bigdata0:7077

        ---- --class         指定类名

        ---- scalawordcontext.jar    将自己与的程序打成的jar 包

        ---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt        指定处理好的数据输出的文件

本文转自 菜鸟的征程 51CTO博客，原文链接:http://blog.51cto.com/songqinglong/2073794