Idea对Spark程序本地调试
var conf = new SparkConf().setAppName("WordCount").setMaster("local")
var sc = new SparkContext(conf)
...
...
...
sc.stop()
设置成local即可进行本地调试
Idea对Spark程序集群调试
var conf = new SparkConf().setAppName("WordCount")
.setMaster("spark://node05:7077")
.setJars(List("D:\\code\\streming\\target\\WordCount.jar"))
var sc = new SparkContext(conf)
...
...
...
sc.stop()