目录
本文将主要介绍spark集群的安装。
实验环境
Spark版本:spark-2.3.0-bin-without-hadoop.tgz
可以访问官网下载自己需要的spark版本:http://spark.apache.org/
安装spark
将spark安装到目录/usr/local/下
解压安装包
sudo tar spark-2.3.0-bin-without-hadoop.tgz -C /usr/local/
重命名文件夹
cd /usr/local/
sudo mv spark-2.3.0-bin-without-hadoop spark
修改文件夹权限
sudo chown -R hadoop:hadoop ./spark
配置环境变量
sudo vim ~/.bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
环境变量生效
source ~/.bashrc
配置文件
修改spark-env.sh
cd /usr/local/spark/conf
cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=Master
export SPARK_HISTORY_OPTS="-Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://Master:9000/sparkserverhistory"
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH
配置slaves文件
在文件末尾加入从节点
sudo vim slaves
Worker1
Worker2
搭建集群
使用远程拷贝命令scp将spark文件夹拷贝到其他节点上
scp -r spark root@Worker1:/usr/local/
scp -r spark root@Worker2:/usr/local/
将环境变量配置文件拷贝到其他从节点上
scp ~/.bashrc root@Worker1:/
scp ~/.bashrc root@Worker2:/
启动spark集群
在Master节点上执行
start-master.sh #启动主节点
start-slaves.sh #启动从节点
打开网页查看spark集群情况
Master:8080
至此,spark大数据的实验环境已经搭建起来了。