1. 下载
http://spark.apache.org/downloads.html
如:版本自行选择
sudo wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop3.2.tgz
2. 解压
sudo tar -zxvf spark-3.0.0-preview2-bin-hadoop3.2.tgz -C /usr/local/bigdata/
mv spark-3.0.0-preview2-bin-hadoop3.2/ spark
3. 配置环境变量
vim ~/.bashrc
加入以下内容:
export JAVA_HOME=/usr/local/jdk
export SPARK_HOME=/usr/local/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
4.1 配置slave文件
sudo cp ./conf/slaves.template ./conf/slaves
编辑slaves文件,指定子节点
slave1
slave2
4.2 配置spark-env.sh,加入以下内容
sudo cp ./conf/spark-env.sh.template ./conf/spark-env.sh
编辑加入以下内容
export SPARK_DIST_CLASSPATH=$(/usr/local/bigdata/hadoop/hadoop-3.2.1/bin/hadoop classpath)
export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/hadoop-3.2.1/etc/hadoop
export SPARK_MASTER_IP=主节点的ip
注:注意ip是master的ip,文件路径要对,是基于hadoop的文件路径
5. 打包并且发送到两个slave节点
打包
tar -zcf ~/spark.master.tar.gz ./spark
发送到子节点
cd ~
scp spark.master.tar.gz slave2:/home/hadoop/
6. slave节点解压
sudo tar -zxf ~/spark.master.tar.gz -C /usr/local/bigdata
7. 启动集群
主节点执行
./sbin/start-master.sh
权限不足执行:
sudo chown -R hadoop hadoop ./spark/
启动成功
可以看出多出了一个Master进程,说明master启动成功
下面启动slave节点,在master节点执行
./sbin/start-slaves.sh
可以看出子节点多出了一个Work进程。
访问http://master:8080
安装完毕!