idea测试spark程序

1：编写spark的WordCount程序
object WordCount {
def main(args: Array[String]): Unit = {

//创建spark配置
val conf = new SparkConf().setAppName("ScalaWordCount")
//创建spark入口
val sc = new SparkContext(conf)
//指定以后从哪里读取数据创建RDD
val lines = sc.textFile(args(0))
//切分压平
val words = lines.flatMap(_.split(" "))
//将单词和一组合
val wordAndOne = words.map((_,1))
// 按key进行聚合
val reduced = wordAndOne.reduceByKey(_+_)
// 排序
val sorted = reduced.sortBy(_._2,false)
//将结果保存到hdfs中
sorted.saveAsTextFile(args(1))
//释放资源
sc.stop()

}
}

2：配置idea远程连接服务器

3：idea配置ftp上传文件

4：idea打包jar并上传jar包

5：提交spark程序
spark-submit --master yarn --class cn.edu.core.WordCount original-spark-demo-1.0.jar hdfs://hdfs-ha/tmp/teragen/ hdfs://hdfs-ha/tmp/output