IDEA本地调试spark任务

一、添加插件Scala

二、main方法中config 配置appname和master

本地调试是使用本地idea中编写的代码引入的spark的相关jar包来运行spark程序，将spark程序提交到本地spark（本地并不需要安装Windows版本的spark）运行。下面是获取SparkContext的代码：

final SparkConf sparkConf = new SparkConf();
sparkConf.setAppName("WordCount").setMaster("local");
final JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(60000));

注意：

一定要调用setMaster()方法，方法参数设置为local。
之后直接运行主方法就可以运行该程序。