Spark开始 ———环境搭建

Standalone模式

准备好两台以上的Linux机器，安装好JDK1.7+

1.下载并上传Spark安装包

注意与hadoop对应得版本号

下载链接：https://archive.apache.org/dist/spark/

解压命令：tar -xf spark-2.1.1-bin-hadoop2.6.tgz -C ..........

 

2.配置Spark

配置位于conf文件夹中

1.将slaves.template复制为slaves

 在slaves中加入从节点（worker）的IP

2.将spark-env.sh.template复制为spark-env.sh

在spark-env.sh中加入Master信息

红色为必选

 

3.启动/停止Spark

启动/停止命令位于sbin文件中

启动：./start-all.sh

停止：./stop-all.sh

 

4.验证启动

 1.jps查看进程

 2.浏览端查看

  地址：mini1:8080

 

5.可能遇到的问题

 1.“JAVA_HOME not set” 异常

解决方案：在sbin目录下的spark-config.sh 文件中加入如下配置：

export JAVA_HOME=XXXX

 2.Hadoop HDFS的写入权限问题：

org.apache.hadoop.security.AccessControlException

解决方案： 在hdfs-site.xml中添加如下配置，关闭权限验证

 

 <property>
        <name>dfs.permissions</name>
        <value>false</value>
  </property>