Hadoop大数据开发__Spark on YARN模式分布式集群安装部署

最新推荐文章于 2024-08-10 02:40:24 发布

姚华军

最新推荐文章于 2024-08-10 02:40:24 发布

阅读量331

点赞数

分类专栏：大数据文章标签：大数据 hadoop spark Spark on YARN YARN

本文链接：https://blog.csdn.net/yhj_911/article/details/125430113

版权

大数据专栏收录该内容

16 篇文章 2 订阅

订阅专栏

本文详细介绍了如何在Linux环境下下载并安装Spark，修改环境变量，以及如何通过YARN资源管理器提交Spark Pi样例应用进行测试。步骤包括解压Spark压缩包，设置HADOOP_CONF_DIR，以及使用spark-submit命令启动任务。

摘要由CSDN通过智能技术生成

1、下载解压spark

cd /home/hadoop/app
tar -zxvf spark-3.3.0-bin-hadoop3.tgz
rm spark-3.3.0-bin-hadoop3.tgz
ln -s spark-3.3.0-bin-hadoop3 spark

2、修改spark-env.sh

cd /home/hadoop/app/spark/conf
vi spark-env.sh
#追加下面的路径
HADOOP_CONF_DIR=/home/hadoop/app/hadoop/etc/hadoop

3、测试运行

cd /home/hadoop/app/spark
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn examples/jars/spark-examples_2.12-3.3.0.jar 10 #使用spark自带jar包，提交到Hadoop的YARN上运行
http://hadoop01:8080 #打开地址会看到任务执行状态为SUCCEEDED