Spark伪分布安装

Spark standalone 伪分布安装

安装条件：

• 虚拟机CentOS7 系统
• 预先伪分布装完整了Hadoop及JDK
• 安装spark-2.1.0-bin-hadoop2.7.tgz

安装步骤：

- 1、下载安装包

• 进入Spark选择如下选项，点击红框处
  
• 选择HTTP，第二个清华的镜像

- 2、解压配置Spark

• 将压缩包上传至 /tools目录，解压到/training 目录。
  tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/
  - 进入Spark安装目录 /conf ，配置：
  注：/conf 下只有spark-env.sh.template 及 slaves.template ，自行拷贝重命名。

    cp slaves.template ./slaves
    cp spark-env.sh.template ./spark-env.sh 

• spark-env.sh：打开这个文件，添加如下

     export JAVA_HOME=/training/jdk1.8.0_171
     export SPARK_MASTER_HOST=nick01
     export SPARK_MASTER_PORT=7077
  

注：jdk1.8.0_171为安装jdk版本，nick01为主机名，7077为Spark-Master端口号。
- slaves：
vi slaves
将里面的localhost更改为主机名

- 3、验证Spark安装**

• 启动： ./start-all.sh
  注：此步骤请在spark 中的/sbin 目录下进行，因为该命令与Hadoop集群启动命令冲突。

• 验证：

• 利用 jps 命令查看是否有Master，worker 进程

  

• 利用Spark Web界面：http://自己的ip:8080

注：