搭建Spark集群详细步骤（3）

构建Spark集群（3）

构建spark集群经典4部曲：

1.搭建hadoop单机和伪分布式环境
2.构造分布式hadoop集群
3.构造分布式spark集群
4.测试spark集群

第三步 构造分布式spark集群

3.1安装scala

3.2安装spark2.2.0并进行配置

1.下载安装包

2.在master节点上创建文件夹，并将安装包解压到里面

mkdir /usr/local/spark
tar xzf spark-2.2.0-bin-hadoop2.7.tgz
mv spark-2.2.0-bin-hadoop2.7 /usr/local/spark/

3.配置~/.bashrc和/etc/profile（应该是配置后面一个就可以）

设置SPARK_HOME，并把spark的bin目录加入到path中，配置完成后，使用source命令使配置生效。
配置/etc/profile,设置SPARK_HOME,并把spark的bin目录加入到path中。与上面相同

# set spark path
export SPARK_HOME=/data/app/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

4.修改slave配置文件

使用cp命令备份原slaves.template配置文件，
cp slaves.template slaves
然后配置slaves.vim slaves,将localhost修改为：

Master
Slave1
Slave2

5.修改spark-env.sh配置文件

使用cp命令备份原spark-env.sh.template配置文件，
cp spark-env.sh.template spark-env.sh
然后配置spark-env.sh。vim spark-env.sh，添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.6
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.6/etc/hadoop
export YARN_CONF_DIR=/usr/local/hadoop/hadoop-2.7.6/etc/hadoop
export SPARK_MASTER_HOST=Master
export SPARK_MASTER_IP=Master
export SPARK_WORK_MEMORY=2g
export SPARK_HOME=/usr/local/spark/spark-2.2.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export SCALA_HOME=/usr/share/scala-2.11/bin/scala

然后用source spark-env.sh命令，使配置生效
**注**Slave1和Slave2的配置与Master的配置一样。

6.启动spark分布式集群，并查看信息

（1）启动hadoop集群
在Master节点上启动hadoop集群



在Slave1和Slave2中通过jps命令查看


（2）启动Spark集群
在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：
可以看到，在Master机器上，多了Master和Worker进程

在slave1和Slave2节点上，多了worker进程

可以在spark集群的web页面查看：

可以看到有3个工作节点，和这些节点的信息。

此时，我们进入Spark的bin目录，使用“spark-shell”控制台：
有报错信息：

网传错误原因是：spark预先编译的hadoop版本为32位的，放在64位的机器上执行会报这个错误。
解决方法
在spark-env.sh文件中加入LD_LIBRARY_PATH环境变量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
重新启动spark，hadoop的问题没有了，但是后面几个警告依然存在，应该是数据库的问题。