Spark-yarn环境配置

最新推荐文章于 2024-07-03 08:37:28 发布
最新推荐文章于 2024-07-03 08:37:28 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wodatoucai/article/details/53232145
版权

一、spark-env.sh

1.配置hadoop的配置文件

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

二、spark-defaults.conf

1.配置spark依赖的文件并上传到hdfs中

spark.yarn.jar=hdfs:///user/spark/jars/spark-assembly-1.6.0-hadoop2.4.0.jar

2.配置spark在yarn上的history

spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs://master:8020/tmp/logs/spark/logs

三、启动spark的history server

${SPARK_HOME}/sbin/start-history-server.sh

查看日志

yarn logs -applicationId application_1477828424381_171674

至此， 配置完成

记录点滴人生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YARN上Spark的资源分配配置
danpu0978的博客
04-24 799
在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具的相应标志，例如spark-submit / spark-...
spark on yarn 环境配置
qq_44779906的博客
10-20 306
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。-- 设置聚合日志在hdfs上的保存时间 -->-- 设置yarn集群的内存分配方案 -->-- 设置yarn历史服务器地址 -->-- 配置yarn主节点的位置 -->-- 关闭yarn内存检查 -->-- 开启日志聚合功能 -->
yarn spark 环境配置
Mrknowledge
11-13 1238
1、 在yarn-site.xml中配置yarn.web-proxy.address的端口，但是实际上点击ApplicationMaster没有反应 spark 环境配置" title="yarn spark 环境配置" style="margin:0px; padding:0px; border:0px; list-style:none"> 需要执行如下命令，对应的参数
yarn的安装与配置（秒懂yarn用法）
最新发布
07-03 1387
在现代Web开发中，包管理工具是不可或缺的工具。Yarn作为一个快速、可靠和安全的JavaScript包管理器，因其出色的性能和丰富的功能备受开发者青睐。本文将详细介绍Yarn的安装与配置，并通过实例展示其强大用法。
第十二章 spark配置Yarn模式（混合部署模式）
开朗小哥的博客
02-20 2590
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 第九章 spark独立模式部署（Standalone） 第十章 spark配置历史服务 第十一章 搭建Spark高可用（HA） 第十二章 spark配置Yarn模式 待更新 文章目录Spark设置Yarn模式1.停止集群。2.修改Hadoop的配置文件。3.修改spark-env.sh文件。4.启动HDFS和YARN
Spark On YARN环境配置
feizuiku0116的博客
02-06 2702
一、准备工作 点击查看Spark Standalone HA环境配置教程 二、修改配置文件 一、修改spark-env.sh cd /export/server/spark/conf vim /export/server/spark/conf/spark-env.sh # 添加以下内容 HADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/ YARN_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...
spark-3.0.0-bin-hadoop3.2
02-17
为了充分利用Spark的功能，你需要了解如何配置Spark的运行环境，如设置Master和Worker节点，配置内存和CPU资源，以及理解和编写Spark程序。同时，理解Hadoop生态系统的其他组件，如HDFS和YARN，将有助于更好地集成和...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
接着，配置环境变量以指向Spark的安装目录，这通常涉及修改`PATH`和`SPARK_HOME`变量。为了与Hadoop集群对接，还需要配置Spark的`spark-env.sh`文件，设置Hadoop的相关路径。 5. **运行Spark**: Spark可以通过...
Spark的Yarn模式
01-20
为方便查看，可以设置日志聚合，通过配置YARN的`log-aggregation-enabled`参数为`true`，并在Spark的提交参数中添加`--conf spark.eventLog.enabled=true`和`--conf spark.eventLog.dir=hdfs://namenode:port/path/...
spark-3.2.1 安装包 下载 hadoop3.2
04-03
解压后，你可以配置环境变量，如SPARK_HOME，然后通过bin目录下的启动脚本来运行Spark。此外，还需要配置Hadoop的相关路径，如HADOOP_CONF_DIR，以便Spark与Hadoop集群进行通信。 在分布式部署模式下，Spark支持...
Spark On Yarn 详细配置流程
Be Simple
09-04 627
https://blog.csdn.net/qq_23330633/article/details/52216155
hadoop&spark on yarn 详细配置
EdgeCity_TF的博客
05-06 461
saprk on yarn 提交脚本后 yarn web页面自动跳转spark运行页面
在YARN上运行Spark的常用配置参数讲解
penriver的博客
04-26 5369
本文针对在YARN上运行Spark的常用配置参数进行讲解 1. 在yarn上启动spark application 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。 这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(dri
大数据之Yarn和Spark配置与说明
延宝小白马的博客
08-20 379
Executor关闭后，其输出的文件，也就无法供其他Executor使用了。在将NodeManager的总内存平均分配给每个Executor，最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。此处的Executor个数是指分配给一个Spark应用的Executor个数，Executor个数对于Spark应用的执行速度有很大的影响，所以Executor个数的确定十分重要。
spark on yarn 安装部署
一蓑烟雨
12-06 1139
准备 下载spark,地址：http://spark.apache.org/downloads.html 下载不带hadoop预编译环境的spark最新版本，好处是可以自由使用最新版本的hadoop 下载hadoop,地址：https://hadoop.apache.org/releases.html 1.基本环境配置 [ec2-user@rcf-ai-datafeed-spark-prd-01 conf]$ cat /etc/hosts 127.0.0.1 localhost localh...
Spark on YARN 部署搭建详细图文教程
Stars.Sky 的博客
09-15 7816
Spark on YARN 部署搭建详细图文教程
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 1348
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
spark on yarn配置
eric_lee的专栏
01-02 2782
目   录   第1章     概述... 2 1.1        目的.. 2 1.2        文档历史.. 2 1.3. 2 第2章     安装... 2 2.1        准备工作.. 2 2.2        基础环境验证.. 2 2.3        配置.. 3 2.3.1         Spark集群master服务器.. 3
spark-yarn安装配置
03-29
Apache Spark是一个分布式计算框架，可以运行在Hadoop集群上。而YARN是Hadoop的资源管理器，可以提供资源给Spark来运行。 以下是spark-yarn安装配置的步骤： 1. 安装Hadoop集群 在安装Spark之前，您需要先安装Hadoop集群。请确保您的Hadoop集群正在运行，并且您可以使用hadoop命令行工具访问它。 2. 下载Spark 从Spark官方网站下载Spark二进制文件，并解压缩到您的目录中。您可以将Spark安装在任何地方，只要您的Hadoop集群可以访问它即可。 3. 配置Spark 在Spark的conf目录下，有一个spark-env.sh文件，您需要编辑它来配置Spark的环境变量。将以下内容添加到文件末尾： export HADOOP_CONF_DIR=/path/to/hadoop/conf 这将告诉Spark去哪里找到Hadoop的配置文件。 4. 配置YARN 在Spark的conf目录下，有一个spark-defaults.conf文件，您需要编辑它来配置Spark使用YARN。将以下内容添加到文件末尾： spark.master yarn spark.submit.deployMode client spark.executor.memory 2g spark.driver.memory 2g 这将告诉Spark使用YARN作为资源管理器，并设置内存大小。 5. 运行Spark应用程序 现在，您可以运行Spark应用程序了。使用以下命令： ./bin/spark-submit --class <main-class> --master yarn --deploy-mode client <application-jar> <application-arguments> 其中，<main-class>是您的主类，<application-jar>是您的应用程序jar文件，<application-arguments>是您的应用程序参数。 6. 监控应用程序 您可以在YARN的Web界面上监控您的应用程序。打开以下网址： http://<yarn-resource-manager>:8088/cluster 其中，<yarn-resource-manager>是您的YARN资源管理器的主机名。在Web界面上，您可以看到正在运行的应用程序的状态和日志。 这就是spark-yarn安装配置的步骤。祝您好运！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值