下载:https://github.com/apache/spark.git
导入IDEA,file–open–选中根目录pom.xml,勾选自己所需要的模块与配置
1. 导入后,在根目录pom.xml文件中注释掉一行,如下所示:
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>14.0.1</version>
<!--<scope>provided</scope>-->
</dependency>
如不注释掉,会报错:
java.lang.NoClassDefFoundError: com/google/common/collect/Maps
2. jdk版本设置
在根目录pom.xml文件找到以下行,
<java.version>1.8</java.version>
检查自己的JDK版本是否与之一致
3.产生一个版本文件(spark-version-info.properties)
sh spark-build-info E:/MySpark/sorucesResearch/onMaven/worker/spark-2.0.1/core/target/extra-resources 2.0.1
如果不执行这一步骤,会有报错:
Error while locating file spark-version-info.properties
如是windows环境,可以借助Git-Bash运行
4.启动master节点
在core模块下,找到以下对象并运行
org.apache.spark.deploy.master.Master
5.启动Worker节点
1-3步骤与master节点相同,操作完成后启动:
org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://localhost:7077
其中spark://localhost:7077是master节点的端口号,worker要向master注册