spark on yarn 安装部署

最新推荐文章于 2024-08-14 16:26:58 发布

积极流年

最新推荐文章于 2024-08-14 16:26:58 发布

阅读量1.1k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/lanlianhua_luffy/article/details/110771756

版权

本文档详细介绍了如何在Hadoop环境中安装和配置Spark on YARN，包括下载Spark和Hadoop，配置环境变量，修改配置文件，启动YARN，以及提交Spark作业到YARN集群的步骤。

摘要由CSDN通过智能技术生成

准备

下载spark,地址：http://spark.apache.org/downloads.html
下载不带hadoop预编译环境的spark最新版本，好处是可以自由使用最新版本的hadoop
下载hadoop,地址：https://hadoop.apache.org/releases.html

1.基本环境配置

[ec2-user@rcf-ai-datafeed-spark-prd-01 conf]$ cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost6 localhost6.localdomain6
10.16.5.162 rcf-ai-datafeed-spark-prd-01.wisers.com rcf-ai-datafeed-spark-prd-01     #master
10.16.5.177 rcf-ai-datafeed-spark-prd-02.wisers.com rcf-ai-datafeed-spark-prd-02     #slave
10.16.5.22 rcf-ai-datafeed-spark-prd-03.wisers.com rcf-ai-datafeed-spark-prd-03       #slave
10.16.5.243 rcf-ai-datafeed-spark-prd-04.wisers.com rcf-ai-datafeed-spark-prd-04     #slave

[ec2-user@rcf-ai-datafeed-spark-prd-01 conf]$ cat /etc/profile

#java config
export JAVA_HOME=/data/server/jdk

#hadoop config
export HADOOP_HOME=/data/server/hadoop
export HADOOP_CONF_DIR= $HADOOP_HOME/etc/<span style="color: rgba(0, 0, 0, 1)">hadoop export YARN_HOME</span>=<span style="color: rgba(0, 0, 0, 1)">$