8.Spark大型电商项目-大数据环境搭建之Spark集群安装

目录

实验环境

安装spark

配置文件

 搭建集群

---

本文将主要介绍spark集群的安装。

实验环境

Spark版本：spark-2.3.0-bin-without-hadoop.tgz

可以访问官网下载自己需要的spark版本：http://spark.apache.org/

 

安装spark

将spark安装到目录/usr/local/下

解压安装包

sudo tar spark-2.3.0-bin-without-hadoop.tgz -C /usr/local/

重命名文件夹

cd /usr/local/

sudo mv spark-2.3.0-bin-without-hadoop spark

修改文件夹权限

sudo chown -R hadoop:hadoop ./spark

 

配置环境变量

sudo vim ~/.bashrc

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

环境变量生效

source ~/.bashrc

配置文件

修改spark-env.sh

cd /usr/local/spark/conf

cp spark-env.sh.template spark-env.sh

sudo gedit spark-env.sh

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=Master
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://Master:9000/sparkserverhistory"
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

配置slaves文件

在文件末尾加入从节点

sudo vim slaves

Worker1

Worker2

 搭建集群

使用远程拷贝命令scp将spark文件夹拷贝到其他节点上

scp -r spark root@Worker1:/usr/local/

scp -r spark root@Worker2:/usr/local/

将环境变量配置文件拷贝到其他从节点上

scp ~/.bashrc root@Worker1:/

scp ~/.bashrc root@Worker2:/

启动spark集群

在Master节点上执行

start-master.sh #启动主节点

start-slaves.sh #启动从节点

打开网页查看spark集群情况

Master:8080

 

至此，spark大数据的实验环境已经搭建起来了。