本地模式调试Spark程序（IDEA）

0、安装好jdk环境

1、下载hadoop对应的压缩包，解压至本地磁盘目录，并配置好环境变量

添加到Path中

2、需要注意的是，需要将本地JAVA_HOME在hadoop解压缩的目录D:\hadoop-2.9.2\etc\hadoop 下的文件 hadoop-env.cmd进行修改

原JAVA_HOME路径中有（Program File）包含了空格，需要将其修改为（Progra~1），修改后的效果如下

3、最后下载本地执行程序时需要用到的一些脚本文件 winutils，选择对应的版本，并添加到D:\hadoop-2.9.2\bin 目录下

4、将hadoop.dll复制到C:\Window\System32下即可

将hadoop.dll复制到C:\Window\System32下

5、执行Spark WordCount案例

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object ScalaWordCount {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local[4]")

    val sc = new SparkContext(conf)

    val lines : RDD[String] = sc.textFile(args(0))

    val words : RDD[String]= lines.flatMap(_.split(" "))

    val wordAndOne : RDD[(String,Int)] = words.map((_,1))

    val reduced : RDD[(String,Int)] = wordAndOne.reduceByKey(_+_)

    val sorted : RDD[(String,Int)] = reduced.sortBy(_._2,false)

    sorted.saveAsTextFile(args(1))

    sc.stop()
  }
}

设置执行参数：字典数据，目标文件

 

参考链接：

https://blog.csdn.net/medier/article/details/80572584