第一步:下载Spark并上传到服务端
官网https://spark.apache.org/
第二步:解压缩到指定目录
sudo tar -zxvf spark-3.3.2-bin-hadoop3-scala2.13.tgz -C/opt
sudo chown -R hadoop.hadoop /opt/spark-3.3.2-bin-hadoop3-scala2.13
sudo ln -s /opt/spark-3.3.2-bin-hadoop3-scala2.13/ /usr/local/spark
第三步:配置spark用户配置文件和环境变量
vi .bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
source .bashrc
cp spark-evs.sh.template spark-ens.sh
vi spark-ens.sh
YARN_CONF_DIR=/usr/local/hadoop/etc/hadoop
第四步:完成spark部署后,通过spark提交作业到Yarn上执行验证是否可以
spark-submit \
--class org.apache.spark.examles.SparkPi \
--master yarn $SPARK_HOME/examples/jars/spark-examples*.jar \
2