eclipse或idea中开发spark程序本地运行以及提交集群运行

Windows开发hadoop/spark配置

1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOME到hadoop目录。把%HADOOP_HOME%\bin加入path。

2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行，将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下，可能需要重启机器。

下载地址：http://download.csdn.net/download/yixiao1874/10240139

经过这些步骤就可以运行hadoop/spark程序（本地模式）

 

开发Spark应用并提交集群运行

1、idea中如果是本地模式只需修改-Dspark.master=local

2、eclipse中