Spark调试

一、本地调试

step1:写好程序，将master设置为local或者local[n]或者local[*]。
step2:如果应到HDFS，可能会遇到winuntils找不到的问题，需要将HADOOP_HOME环境加入IDEA。
方法1：下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件，解压到磁盘，在本机环境中添加。
方法2：下载对应hadoop-common-bin-2.7.3-x64.rar对应版本文件，解压到磁盘，在IDEA添加。

添加对应文件的bin目录即可。

二、远程调试

其原理就是将IDEA作为Driver，因此jar包还是需要打的。

在配置中加入setJars(List(Jar_PATH))，以及setIfMissing(“spark.driver.host”,本机IP)
获取方式：cmd中输入ifconfig，本机和集群是同一网段。