Spark源码-部署流程

最新推荐文章于 2021-05-15 17:27:38 发布
最新推荐文章于 2021-05-15 17:27:38 发布
阅读量234 收藏
点赞数
分类专栏： 大数据/Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/betrapped/article/details/102644629
版权

Spark的部署流程

1.一些特殊的类
  • Backend 后台
  • rpcEnv：首先IPC是完成在同一节点上两个进程间的交互，RPC就是完成两个终端间的进程交互
  • amEndpoint：终端
  • RpcEndpointAddress：RPC终端地址
2.spark的框架图

在这里插入图片描述

3.源码流程

在这里插入图片描述
上图在新版的spark源码中有些许调整，但只是一些参数和函数位置的调整，整体流程还是这样的。
接下来进入client部分
在这里插入图片描述

Applicationmaster部分
从源码中可以看出来，driver就是一个执行用户应用类main方法的线程
在这里插入图片描述
CoarseGrainedExecutorBackend部分
executor是这个类中的一个内部属性
在这里插入图片描述

eeeat_fish
关注
专栏目录
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1711
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
spark源码部署
09-13
spark spark spark spark spark spark spark spark spark
在eclipse中部署spark源代码
提笔写忧伤
05-15 9116
参考： 1.http://cn.soulmachine.me/blog/20130611/ 2.
Spark 部署及示例代码讲解
sdujava2011
01-26 800
Spark 部署 考虑到读者可能使用“ssh secure shell”这样的工具登陆 Linux，所以解释一下如何设置工具支持中文。 如何设置 ssh secure shell 支持中文 只需要设置下/etc/sysconfig/i18n 文件内容如清单 1 所示。 清单 1. 文件内容 LANG="zh_CN.GB18030" SUPPORTED="zh_CN.G
Spark源码安装与部署
Big Data
04-30 347
编译步骤 安装JDK 安装maven （需要修改maven默认存储位置） 安装scala 定位到spark源码 mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -Phive -Phive-thriftserver -DskipTests clean package 或者 ./dev/make-distribution.sh –na...
spark_yarn部署流程图
m0_48714980的博客
01-07 119
spark-face-embedding-源码.rar
10-10
总结，"spark-face-embedding-源码.rar"的解压文件"spark-face-embedding-源码.zip"为我们揭示了如何在Spark框架下实现Face Embedding的全过程，从数据处理、模型训练到分布式计算优化，再到模型评估和服务部署，...
spark1.6.0-src.rar
09-20
为了编译和运行Spark 1.6.0源码，你需要准备Scala、Java和Maven等开发环境，并按照官方文档提供的指南进行编译和部署。通过阅读和分析源码，不仅可以深入理解Spark的工作机制，还可以学习到分布式计算、内存管理和...
基于Python的Spark集群部署自动化脚本设计源码
最新发布
04-10
本项目是一个基于Python的Spark集群部署自动化脚本设计源码，共包含40个文件...该系统旨在自动化部署Spark集群，简化部署流程，提高部署效率。系统设计注重可扩展性和易用性，采用模块化的设计，便于后续的扩展和维护。
spark源码包
11-18
9. **YARN和Mesos集成**：Spark 2.0版本能够很好地与YARN和Mesos资源管理系统集成，支持多租户和动态资源调度，增强了Spark在大规模集群中的部署和管理能力。 10. **性能优化**：Spark 2.0对内存管理、任务调度和...
Spark平台搭建最详细最完美详解
11-05
这是一个大数据主流平台SPARK搭建的完美教程，特别适合零基础者。
Spark安装及部署
zjjfjcs的博客
08-31 990
１、安装Spark 1.1、 配置Ｊava环境： 下载Ｊava SE 网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择合适的压缩包下载 配置Ｊａｖａ环境 打开ｐｒｏｆｉｌｅ文件：　~$ sudo vim /etc/profile 在文件结尾加上
spark源码---部署的流程
没有合适的昵称
02-29 1417
spark的参数与提交的流程 前言:个人读源码的一次记录 首先,SparkSubmit的入口在:org.apache.spark.deploy.SparkSubmit,下面会有一个main方法 点进SparkSubmitArguments(封装命令行参数): 是否很熟悉?接着往下看,解析,参数是先将scala的数组转成java的数组,然后往下传 点进parse,会有一个handle方法,在S...
2、Spark系统部署与应用运行的基本流程
wymyimeng的博客
05-15 278
1、Spark系统架构 与Hadoop MapReduce 的结构类似，Spark 也是采用 Master-Worker 架构。 Master 节点与Worker 节点的职责如下： 1)、Master 节点上常驻Master 进程。该进程负责给Worker 进程分发Spark 任务，监控Worker 进程的存活情况以及监控Worker 进程上任务的执行情况。 2)、Worker 节点上常驻Worker 进程。该进程除了与Master 进程进行通信外，还负责管理Spark 任务的执行，如启动 Exec
spark Yarn部署流程解析，核心运行机制
congzi1984的专栏
02-08 815
1、提交流程图 提交流程文字说明： 1、执行bin/spark-submit命令后，Client会组装commnd命令到yarn集群的ResourceManager。 commnd命令：bin/java org.apache.spark.deploy.yarn.ApplicationMaster，如果非集群模式就是bin/java org.apache.spark.deploy.yarn...
spark-sql的使用配置流程
qq_38522268的博客
07-17 861
1，安装配置好jdk，mysql和scala 2，安装配置hadoop 3，安装配置好hive 4，安装配置好spark 5，把hive的conf目录下hive-site.xml文件拷贝到spark的conf目录下 cp hive-site.xml /home/hadoop/app/spark-2.4.6-bin-hadoop2.7/conf 6，spark启动，需指定mysql驱动包，进入scala命令行 spark-shell local[2] --jars ~/software/my
spark 源码安装
weixin_30885111的博客
12-08 63
clone 源码 git clone git://github.com/apache/spark.git maven编译源码 国外镜像比较慢，此处修改maven仓库的镜像为阿里云镜像： <mirrors> <mirror> <id>alimaven</id> <name>aliyun m...
【Spark】配置Spark源码阅读环境
Jason Ding的专栏
05-28 1918
Scala构建工具（SBT）的使用SBT介绍SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。 虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如： 使用Scala作为DSL来定义build文件（one language
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值