Spark on Yarn 模式搭建

最新推荐文章于 2023-09-15 15:21:47 发布
最新推荐文章于 2023-09-15 15:21:47 发布
阅读量330 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44890150/article/details/106402634
版权
本文档详细介绍了如何在Yarn上搭建Spark环境，包括上传解压Spark，配置环境变量，添加Hadoop配置文件地址，以及在Yarn上以client和cluster两种模式提交Spark任务的步骤。对于client模式，日志会本地输出，适用于上线前测试；而cluster模式则适用于线上运行，不输出本地日志以减少IO操作。
摘要由CSDN通过智能技术生成

1、上传解压，配置环境变量 配置bin目录

2、增加hadoop 配置文件地址

vim spark-env.sh
增加：
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.6.0/etc/hadoop

3、往yarn提交任务需要增加两个配置

yarn-site.xml(/usr/local/soft/hadoop-2.6.0/etc/hadoop/yarn-site.xml)

先关闭yarn

stop-yarn.sh

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
最低0.47元/天 解锁文章
你的骑士_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Spark框架 5：Spark On Yarn环境配置
Blue92120的博客
10-20 222
3- spark的18080日志服务器是依赖于 Yarn提供的job history日志服务器， 如果没有这个日志服务， 18080也无法查看到具体的日志。注意2: 读取的路径必须为HDFS， 如果是本地， 可能Yarn在运行的时候，无法找到对应的文件， 需要将所有的节点本地都得有这个文件。弊端: 由于Driver运行在集群里面， 导致我们无法直接看到运行的结果， 如果想要看到结果， 就必须查看运行的日志。注意：py脚本的路径写自己的路径， 不要复制我的路径。
Spark On Yarn搭建
weixin_41070431的博客
06-11 307
实现步骤：1）搭建好Hadoop（版本，2.7）集群2）安装和配置scala（版本，2.11）上传解压scala-2.11.0.tgz—&gt;配置 /etc/profile文件配置示例：3）在NodeManager节点（04,05,06节点）上安装和配置Spark4）进入Spark安装目录的Conf目录，配置：spark-env.sh 文件配置示例：export JAVA_HOME=/usr/l...
Spark基础入门-第五章：环境搭建-Spark on YARN
黑马程序员官方博客
09-07 2073
Client模式和Cluster模式最最本质的区别是： Driver程序运行在哪里。Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低)1.Driver运行在Client上,和集群的通信成本高2.Driver输出结果会在客户端显示Cluster模式：生产环境中使用该模式1.Driver程序在YARN集群中，和集群的通信成本低2.Driver输出结果不能在客户端显示。
Spark on YARN 部署搭建详细图文教程
最新发布
Stars.Sky 的博客
09-15 7436
Spark on YARN 部署搭建详细图文教程
Spark on Yarn详解
WuBoooo的博客
11-03 5091
Spark on Yarn详解 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。今天主要对Spark on Yarn 这种方式做讲解。 yarn模式两种提交任务方式 Spark可以和Yarn整合，将Application提交到Yarn上运行，Yarn有两
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
spark yarn模式的搭建.docx
06-15
搭建 Spark On Yarn 集群主要涉及三个组件的安装和配置：Zookeeper、Hadoop 和 Spark。下面将详细介绍这三个阶段的搭建过程。 一、Zookeeper 集群搭建 Zookeeper 是一个分布式的、开放源码的分布式应用程序协调服务...
Sparkonyarn集群搭建详细过程.pdf
10-15
Spark on YARN 集群搭建详细过程 _title_：Spark on YARN 集群搭建详细过程 _description_：本文详细介绍了 Spark on YARN 集群搭建的过程，包括配置主机 hosts 文件、免密码登录、安装 Java、安装 Scala 等步骤。...
spark -- on yarn模式 Spark参数详解 IDEA编写Spark程序
kismet
04-08 2780
spark on yarn Spark on yarn：Spark 使用了 yarn 管理器。Spark 运行在 YARN 上时，不需要启动 Spark 集群，只需要启动 YARN 即可，YARN 的 ResourceManager 相当于 Spark Standalone 模式下的 Master。 spark中的两种模式（Cluster和Client） Cluster和Clien...
Spark运行环境——Yarn模式
weixin_52948205的博客
10-11 1465
Spark运行环境——Yarn模式
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4603
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建
遇安的博客
03-09 2342
本文详细的写有：Spark伪分布式环境搭建、Spark完全分布式环境搭建、Spark-on-yarn模式环境搭建、Scala环境搭建的详细步骤
Spark on Yarn 搭建过程
ningning1994的博客
03-30 861
Spark On Yarn 搭建教程 最近在作毕设，需要用到Spark on yarn的环境，搭建过程并不复杂，写下来给大家分享。我的平台是搭建在四台机器上，一个节点作为主节点，三个节点作为从节点。主要搭建过程分为以下几个步骤： 下载并安装java，scala 下载spark和hadoop 配置相关配置文件 将配置好的文件分发到各个节点 搭建Spark on yarn，需要你各个节...
Spark On Yarn
m0_46538284的博客
01-04 558
1.配置Hadoop ①需要在/etc/profile中配置HADOOP_CONF_DIR的目录，目的是为了让Spark找到core-site.xml、hdfs-site.xml和yarn-site.xml【让spark知道NameNode、ResourceManager】，不然会包如下错误：Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YA
【大数据开发 Spark】第四篇：搭建 Spark 完全分布式 Yarn 运行环境
Zhou_LC的博客
05-28 903
文章目录1 版本说明2 搭建 Spark 完全分布式 Yarn 运行环境2.1 搭建 Hadoop 环境2.2 Spark 配置2.3 配置 Spark 历史服务器2.4 编写 Spark 集群启动的脚本2.5 启动集群2.6 实例测试 1 版本说明 jdk1.8.0_311 hadoop-3.1.3 spark-3.0.0 2 搭建 Spark 完全分布式 Yarn 运行环境 2.1 搭建 Hadoop 环境 在之前的文章中已经详细介绍过：【Hadoop 3】图文详解：搭建Hadoop完全分布式运行模
Spark集群搭建（不常用,一般使用yarn整合）
weixin_48370579的博客
07-12 158
Spark集群搭建(不常用) 1、上传解压，配置环境变量 配置bin目录,解压 重命名 tar -xvf spark-2.4.5-bin-hadoop2.7.tgz 配置环境变量 mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5 环境变量配置完成后记得source一下 2. 修改配置文件 修改配置文件 conf cp spark-env.sh.templat...
Spark on Yarn 环境搭建
杜海的博客
12-05 530
本文记录Spark on Yarn的集群环境的搭建，并通过通过SparkPi实例程序来测试集群。在搭建本集群之前必须先搭建好Hadoop集群，搭建Hadoop集群请参考：Hadoop集群环境搭建（三台）. 主要内容： 安装Spark 运行SparkPi 1.安装Spark 1.1.下载 https://spark.apache.org/downloads.html 下载 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值