spark on yarn的理解

最新推荐文章于 2024-07-15 15:46:09 发布
最新推荐文章于 2024-07-15 15:46:09 发布
阅读量3.3k 收藏
点赞数
分类专栏： spark CDH5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oufuji/article/details/50313675
版权
在CDH5.5不支持spark-sql和sparkR的情况下，探索使用社区版Spark1.5.2独立安装并与YARN结合。通过在单个节点上部署Spark，实现了Spark on YARN，能够在原有Hadoop集群上运行Spark任务，只需4040端口即可监控，无需额外启动standalone。这种方式简化了部署，但深入理解其工作原理还需进一步研究。
摘要由CSDN通过智能技术生成

最近在安装调测CDH5.5,发现官方文档明确不支持spark-sql（需要自己去编译）和sparkR。到/opt/cloudera/parcels/CDH/lib/spark/目录看里面，没有R文件夹，bin里面也没有spark-ql和sparkR。比较失望。

http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_rn_spark_ki.html



不能因为CDH5.5不支持spark-sql和sparkR就放弃CDH了吧，毕竟图形化管理，Hue，hdfs和impala很好用。然后就搜能否替换spark。

看到网上有其他人用社区版的spark1.5.2独立安装，启动。于是也打算试试。


在搜资料的过程中，发现spark on yarn，standalone方式。集群已经启动yarn，就没有必要在独立起standalone了。

于是搜spark on yarn结果，实在令人失望，很多spark on yarn的部署，看到后面都是全部节点部署，有些帖子并且还启动了master 7077端口之类的，我就知道，这不是standalone么？


Anyway，我尝试只在一个节点上部署spark&

最低0.47元/天 解锁文章
富兰克林008
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sparkOnYarn基础流程
github_28583061的博客
06-01 622
在yarn上运行的基本操作 程序提交的服务器需要包含HADOOP_CONF_DIR 或者 YARN_CONF_DIR环境变量，指向包含hadoop集群配置的文件目录 因为程序提交时，不会指定 与 HDFS , YARN resourceMamager交互的地址和端口，是从服务器环境变量找到对于的配置文件去读取相应的配置 spark on yarn的两种运行方式： cluster 模...
Spark Yarn核心概念说明
Peter_Changyb的博客
07-24 448
1) Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。 2) ClusterManager：指YARN。 3) DAGScheduler：把spark作业转换成Stage的DAG图。 4) TaskScheduler：把Task分配给具体的Executor。 5) ResourceManager：负责整个集群的资源管理和分配。 6) Appli...
Spark on YARN
最新发布
麦当当的博客
07-15 526
这是 Spark 的默认配置文件，可以在这里设置 Spark 作业的一些默认参数，比如 master URL（yarn）、deploy mode（client 或 cluster）、executor 内存等。这是 Spark 的环境配置文件。你需要设置一些环境变量，比如 SPARK_HOME, HADOOP_CONF_DIR 等。这是 YARN 的配置文件，通常位于 Hadoop 配置目录中。你需要确保这个文件在 Spark 配置中可以访问。
Spark on Yarn作业运行架构原理解析
weixin_34038293的博客
10-07 437
[TOC] 0 前言 可以先参考之前写的《Yarn流程、Yarn与MapReduce 1相比》，之后再参考《Spark作业运行架构原理解析》，然后再阅读下面的内容，就很容易理解了。 下面内容参考：https://blog.csdn.net/gamer_gyt/article/details/51833681 1 Client模式 说明如下： Spark Yarn Client向YARN的Re...
Hadoop、MapReduce、YARN和Spark的区别与联系
热门推荐
ldcaws的专栏
03-17 1万+
（1） Hadoop 1.0 第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。 （2）  Hadoop 2.0 第二代Hadoop，为克服Had
一文讲透sparkHistoryServer与yarnHistoryServer关系
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
02-16 1079
一文讲透sparkHistoryServer与yarnHistoryServer关系
解读 spark on yarn
lsp的博客
03-27 418
/ 为什么需要 Yarn？ / Yarn的全称是Yet Anther Resource Negotiator（另一种资源协商者）。它作为 Hadoop的一个组件，官方对它的定义是一个工作调度和集群资源管理的框架。 Yarn最早出现于Hadoop 0.23分支中，0.23分支是一个实验性分支，之后经过了几次迭代，最后发布于2014年6月的0.23.11版本(该分支的...
Spark实验：On Yarn模式安装部署（带答案）1
08-03
Spark on Yarn是一种将Spark应用程序部署在Hadoop YARN资源管理器上的方法，它允许Spark充分利用YARN的资源管理和调度功能。在这个实验中，我们将详细探讨如何在Yarn模式下安装和部署Spark集群。 首先，我们需要...
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
Spark 初始化源码阅读 Spark on YARN 的 Client 和 Cluster 区别 Spark 是一个大数据处理的开源框架，它可以在多种集群管理器上运行，如 YARN、Mesos 和 Standalone。Spark on YARN 是 Spark 在 YARN 集群管理器上...
Spark on Yarn模式的电信大数据处理平台.pdf
08-15
此时，Yarn（Yet Another Resource Negotiator）出现了，它是Hadoop 2.0中引入的新资源管理框架，进一步优化了资源管理和任务调度，而Spark on Yarn模式则充分利用了Yarn的资源调度能力和Spark内存计算的优势，显著...
（九）spark on yarn
zhtzh312的博客
10-16 643
YARN是一种统一资源管理机制，在其上面可以运行多套计算框架。目前的大数据技术世界，大多数公司除了使用Spark来进行数据计算，由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架，比如MapReduce、Storm等计算框架。Spark基于此种情况开发了Spark on YARN的运行模式，由于借助了YARN良好的弹性资源管理机制，不仅部署Application更加方便，...
Spark on YARN的cluster模式
蜗牛^_^的博客
10-10 781
目录 YARN架构 Spark on YARN的cluster模式 常用命令 日志查看与处理 参考资料 YARN架构 YARN是Hadoop2.0之后出现的集群资源的管理与任务调度的分布式框架。 资源管理： 集群中的资源（如内存、cpu）使用情况由主节点ResourceManager管理。从节点NodeManager管理自己所在节点的资源使用情况并报告给主节点Resou...
基础概念 之 Spark on Yarn
weixin_34362790的博客
07-03 850
先抛出问题：Spark on Yarn有cluster和client两种模式，它们有什么区别？ 用Jupyter写Spark时，只能使用client模式，为什么？ 写一篇文章，搞清楚 Spark on Yarn 的运行原理，同时回答上面的问题。 首先，把Spark和Yarn当做两个独立概念来看。单看Spark，不去管它底层依赖的存储结构，本质上讲，它就是个分布式计算的程序。程序的入口是一个叫做...
Spark1.0.0 on YARN 模式部署
mmicky的hadoop、Spark世界
05-13 1万+
Spark应用程序在YARN中的部署，说明scala程序和python程序分别以yarn-client和yarn-cluster方式在YARN中的部署。
Spark on Yarn的运行原理
xiaoxiaohacker的专栏
03-13 1023
一、YARN是集群的资源管理系统 1、ResourceManager：负责整个集群的资源管理和分配。 2、ApplicationMaster：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。 3、NodeManager：每个节点的资源和任务管理器，负责启动/停止Container，并监视...
为什么要用Yarn来部署Spark
weixin_59295776的博客
10-29 550
因为 Yarn 支持动态资源配置。Standalone 模式只支持简单的固定资源分配策略，每个任务固定 数量的 core，各 Job 按顺序依次分配在资源，资源不够的时候就排队。这种模式比较适合单用户 的情况，多用户的情境下，会有可能有些用户的任务得不到资源。 Yarn 作为通用的种子资源调度平台，除了 Spark 提供调度服务之外，还可以为其他系统提供调度，如 Hadoop, MapReduce, Hive 等。 ...
Spark Sql（on yarn，local，standalone）
记录
04-14 969
执行如下代码报错 import org.apache.spark.sql.SparkSession /** * Created by zheng on 2020/4/14. */ object SparkSqlTest { def main(args: Array[String]): Unit = { val spark = SparkSession ...
Spark on YARN 实现深度解析
"Spark源码解析，探讨Spark on YARN的实现细节，主要基于Spark 1.0.0版本。" Spark on YARN是Apache ...理解这些核心概念对于深入学习Spark和YARN的集成至关重要，也有助于开发者更好地调试和优化分布式Spark作业。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值