Win7下使用idea远程调试运行在虚拟机上spark-hadoop集群

环境准备

1.已在虚拟机上上搭建好集群环境,jps显示正确。
2.idea已配置好scala插件
3.hadoop版本为2.6.5,spark版本为2.2.0,scala版本为2.11.0

开始配置

本人第一次配置环境时遇到了非常多的坑,最后采取建立scala项目而不是maven项目的方法解决(也许maven项目依旧可以运行)
1.idea新建scala项目,可以不选择scala sdk。
2.将配置虚拟机环境的spark安装包解压到本地(win7操作系统)目录中,新建环境变量
3.导入包,将第二步解压后的jar文件夹中的所有包引入。
4.编译运行程序。

遇到的问题及解决方法

缺失winutils.exe

解决办法:下载windows环境下的winutils工具包,解压后全部放入bin目录中。

Permission Denied

解决办法:hdfs-site.xml文件中添加属性如下:

<property>
  <name>dfs.permissions</name>
  <value>false