Spark On YARN 模式的搭建

最新推荐文章于 2024-01-10 16:57:27 发布
最新推荐文章于 2024-01-10 16:57:27 发布
阅读量144 收藏
点赞数
分类专栏： Hadoop Spark Linux 文章标签： spark hadoop 大数据 linux yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43613793/article/details/115394942
版权
Linux 同时被 3 个专栏收录
35 篇文章 0 订阅
订阅专栏
Hadoop
30 篇文章 0 订阅
订阅专栏
Spark
3 篇文章 0 订阅
订阅专栏

修改spark-env.sh配置文件

export HADOOP_HOME=/opt/modules/hadoop-2.8.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

测试运行Spark应用程序

测试运行Spark自带的求圆周率的例子：（提前启动HDFS和YARN）

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /opt/modules/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar

程序执行过程中，可在YARN的ResourceManager对应的Web界面中查看应用程序执行的详细信息：
在这里插入图片描述

查看结果：
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

philpy_used
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Spark框架 5：Spark On Yarn环境配置
Blue92120的博客
10-20 222
3- spark的18080日志服务器是依赖于 Yarn提供的job history日志服务器， 如果没有这个日志服务， 18080也无法查看到具体的日志。注意2: 读取的路径必须为HDFS， 如果是本地， 可能Yarn在运行的时候，无法找到对应的文件， 需要将所有的节点本地都得有这个文件。弊端: 由于Driver运行在集群里面， 导致我们无法直接看到运行的结果， 如果想要看到结果， 就必须查看运行的日志。注意：py脚本的路径写自己的路径， 不要复制我的路径。
Spark的YARN模式部署
u014648759的博客
02-04 250
1：Spark的编译 Spark可以通过SBT（Scala Build Tool）或者Maven来编译，官方提供的二进制安装文件是用Maven编译，如果是要在YARN集群上运行的话，还需要再用SBT编译一下，生成YARN client端使用的jar包；最好是直接对源码使用SBT进行编译而生成YARN client端使用的jar包。笔者在测试过程中，对Maven编译过的Spark进行SBT二次编...
Spark on Yarn 环境搭建
weixin_37536020的博客
07-02 911
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。
Spark on Yarn环境搭建
qq_44666176的博客
11-26 2588
1，解压缩spark安装文件 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 2，修改spark目录名称 mv spark-3.0.0-bin-hadoop3.2 spark-yarn 3，修改hadoop的yarn-site.xml文件，新增下面内容 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认 是 true --> <property> <name&gt
SparkOnYarn专题一SparkOnYarn环境搭建
热门推荐
qq_824203453_的博客
06-13 1万+
版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80678372 交流QQ: 824203453 欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492 hadoop版本： 2.8.0 spark 版本： 2...
Spark基础入门-第五章：环境搭建-Spark on YARN
黑马程序员官方博客
09-07 2065
Client模式和Cluster模式最最本质的区别是： Driver程序运行在哪里。Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低)1.Driver运行在Client上,和集群的通信成本高2.Driver输出结果会在客户端显示Cluster模式：生产环境中使用该模式1.Driver程序在YARN集群中，和集群的通信成本低2.Driver输出结果不能在客户端显示。
Spark实验：On Yarn模式安装部署（带答案）1
08-03
在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要准备实验环境，这里包括三台虚拟机，操作系统为CentOS 7.5，Hadoop版本为2.7.3，Spark版本为2.1.1。这些版本的兼容性对于实验的...
Spark on Yarn模式部署.docx
10-03
Spark on Yarn 模式部署是一种常见的 Spark 应用场景，本文将详细介绍 Spark on Yarn 模式部署的步骤和配置过程。 标题解释 Spark on Yarn 模式部署是指将 Spark 应用程序部署在 Yarn 集群上，使得 Spark 能够使用 ...
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
spark yarn模式的搭建.docx
06-15
Spark On Yarn完全...4、Spark On Yarn搭建介绍; 5、集群启动介绍; 最新最全的java培训视频教程，供大家学习与技术分享。下载链接： 百度网盘链接：https://pan.baidu.com/s/133mIoFlCCmTDxxkb7RJ1Og 提取码：p3yx
Sparkonyarn集群搭建详细过程.pdf
10-15
Spark on YARN 集群搭建详细过程 _title_：Spark on YARN 集群搭建详细过程 _description_：本文详细介绍了 Spark on YARN 集群搭建的过程，包括配置主机 hosts 文件、免密码登录、安装 Java、安装 Scala 等步骤。...
Spark完全分布式搭建（On Yarn）
mango_ZZY的博客
11-24 2347
一、修改配置文件 1.yarn-site.xml [root@hadoop101 ~]# cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true --> <property> <name>yarn.nodemanager.pmem-check-enabled</nam
spark_on_yarn环境搭建
doctorq
03-20 1362
集群模式 机器 软件版本 公有zookeeper服务 下载 统一时间 配置hosts 防火墙 配置免密登录 安装hadoop273 hadoop配置 hadoop-envsh配置 yarn-envsh配置 slaves配置 core-sitexml配置 hdfs-sitexml配置 mapred-sitexml配置 yarn-sitexml配置 分发到配置到slave 启动dfs dfs启动前的进程
Spark - OnYARN 模式搭建，并使用 Scala、Java、Python 三种语言测试
小毕超博客
12-04 1494
安装前需要提前安装好 环境，关于 和 集群的搭建可以参考下面我的博客：下面是我 的安装结构开始前请确保 已经成功启动起来。准备一台服务器，可以和 装在一台机子上，下面有需要读取 的配置，如果是台纯净的服务，需要将 的配置文件放上去。Yarn 需要配置历史服务器，如果没有配置通过修改下面文件开启：修改 Hadoop 安装目录 文件： 添加下面配置： 该需要同步到集群的其他节点： 重启 集群： 下载 安装包，这里我用的 版本：先将下载后的安装包上传至 节点，解压安装包： 进入到加压目录
Spark On Yarn搭建
weixin_41070431的博客
06-11 305
实现步骤：1）搭建好Hadoop（版本，2.7）集群2）安装和配置scala（版本，2.11）上传解压scala-2.11.0.tgz—&gt;配置 /etc/profile文件配置示例：3）在NodeManager节点（04,05,06节点）上安装和配置Spark4）进入Spark安装目录的Conf目录，配置：spark-env.sh 文件配置示例：export JAVA_HOME=/usr/l...
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1101
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
超详细Spark on yarn 集群搭建部署
Alex的博客
11-14 1206
1.首先准备软件包 下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后，修改配置文件（前提Java已经安装过了） 解压的Linux命令：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.配置环境变量 ...
Spark on YARN部署模式保姆级教程
最新发布
weixin_65875490的博客
01-10 2229
没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段可能更适合使用YARN-Client模式，而在生产环境中则常使用YARN-Cluster模式。在Spark中，根据运行模式的不同，有两种提交任务的方式：YARN-Client和YARN-Cluster。
Spark on YARN 部署搭建详细图文教程
Stars.Sky 的博客
09-15 7291
Spark on YARN 部署搭建详细图文教程
spark on yarn的搭建步骤
04-26
关于 Spark on YARN 的搭建步骤，以下是简要说明： 1.下载并解压Spark： wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz tar -zxvf ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值