spark学习-65-源代码：schedulerBackend和taskScheduler的创建(3)-local-cluster

最新推荐文章于 2021-12-11 12:41:53 发布

九师兄

最新推荐文章于 2021-12-11 12:41:53 发布

阅读量1.3k

点赞数

分类专栏：大数据-spark 文章标签： spark 源代码 local cluster

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78906605

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文探讨了Spark的local-cluster模式，这是一种在单机上模拟多进程集群的测试方式，用于验证应用程序逻辑。local-cluster模式启动时指定executor数量、core和memory。与Local[N]模式不同，它在单机上启动多个独立进程。报错部分涉及内存配置和Scala SDK版本问题，但未成功解决。重点介绍了启动master和worker的代码段。

摘要由CSDN通过智能技术生成

在这里插入图片描述

0 本地测试

// 本地模式运行,便于测试
    val sparkConf = new SparkConf().setMaster("local-cluster[1, 1, 200]").setAppName

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

spark学习-63-源代码：schedulerBackend和taskScheduler的创建(1)-local

九师兄

07-04

1007

测试代码 // 本地模式运行,便于测试 val sparkConf = new SparkConf().setMaster("local").setAppName("aa") 1. schedulerBackend和taskScheduler的创建是在创建SparkContext的时候 createTaskScheduler方法会根据master的配置陪陪部署模式，创建Tas

[Spark版本更新]--Spark-2.4.0 发布说明

欢迎来到我的博客，一起探索代码里的世界！

11-09

6568

2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考： Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...

参与评论您还未登录，请先登录后发表或查看评论

Spark - 源码解析-LocalCluster模式启动分析

摸鱼同学的博客

12-11

1607

Spark常用的几种模式 Local StandAlone Yarn - Mesos Local模式又分为几种启动方式 local - local单核 LOCAL_N_REGEX(threads) - local[N]/local[*] 设置N个线程或启动与cpu core个数相同的线程 LOCAL_N_FAILURES_REGEX(threads, maxFailures) - 设置N线程数与最大失败次数 LOCAL_CLUSTER_REGE..

spark中local模式与cluster模式使用场景_大数据学习笔记之Spark：Spark基础解析

weixin_39815600的博客

11-19

1121

第1章Spark概述spark的产生背景spark是如何产生的，这要先送大数据说起，大数据是如何产生的？Google就是处理大数据的，网页和网页之间有很多的关联关系，为了处理排序啊这些算法，所以Google就发明了，Google就发布了三个论文，基于这三个论文的开源，实现了Hadoop、Hdfs、MapReduce、Hbase等，但是感觉好像每次MapReduce只能处理一次数据，而且开始跑map...

spark中local模式与cluster模式使用场景_Spark基础与原理

weixin_39706561的博客

11-11

512

1.概述Apache Spark是专为大规模数据处理而设计的快速通用计算引擎，是一种与Hadoop相似的集群计算环境，最大不同之处是Spark启用了内存分布数据集，大型和低延迟是他的特点。Spark支持的语言有Scala、Python、Java。对比MapReduceSpark是一张有向五环图（从一个点出发最终无法回到该点的一个拓扑），向比较MapReduce，Spark具有如下优势：MapRed...

spark中local模式与cluster模式使用场景_Spark应用资源分配详解

weixin_39995297的博客

11-19

404

资源分配是Spark任务中需要深入理解的，如果相关的参数设置不合理，将会造成资源分配不均的情况，可能导致某些任务大量的资源消耗或者某些任务因等待资源而饥饿。本文主要梳理Spark应用基本的过程，然后会介绍如何设置Spark应用执行过程中executor的数量、每个executor上memory大小的以及cores数量的设置。以上三者的优化需要考虑如下几个因素：数据量的大小一个Spark任务需要在多...

Spark-Core源码学习记录 3 SparkContext、SchedulerBackend、TaskScheduler初始化及应用的注册流程

u011372108的博客

04-16

323

Spark-Core源码学习记录该系列作为Spark源码回顾学习的记录，旨在捋清Spark分发程序运行的机制和流程，对部分关键源码进行追踪，争取做到知其所以然，对枝节部分源码仅进行文字说明，不深入下钻，避免混淆主干内容。从本篇文章开始，进入到Spark核心的部分，我们将依次展开。 SparkContext 基石 SparkContext在整个Spark运行期间都起着重要的作用，并在其中完成了许...

大数据Spark-----spark代码源码解析

qq_39923024的博客

11-14

828

first Codec public class Friend { public static void main(String[] args){ System.out.println(&quot;BigData：&quot;+&quot;--&quot;+&quot;947967114&quot;); } } SPARK源码解析首先看一段使用scala编写的spark代码： pac

spark面试

斧王，不能再斩杀了吗的博客

10-31

286

首发于Oscar 的大数据日记关注专栏写文章Spark面试题(一)runzhliu丁香园大数据研发工程师42 人赞同了该文章这部分的关于 Spark 的面试题是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，做一下总结，另外这个总结里面有参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除，再次感谢各位提供的资料，真...

Spark内核详解 (5) | Spark的任务调度机制

不温卜火

08-30

6445

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/ 本片博文为大家带来的是Spark的任务调度机制。目录 .

spark中local模式与cluster模式使用场景_Spark 知识点 ( 架构 RDD Task )

weixin_39714528的博客

11-19

342

1. Spark介绍Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：1) 运行速度快, Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数...

spark 2.1 LocalBackend Execute Task Process

houzhizhen的专栏

05-24

430

LocalEndpoint call reviveOffers, when receive a ReviveOffers message. def reviveOffers() { val offers = IndexedSeq(new WorkerOffer(localExecutorId, localExecutorHostname, freeCores)) for (task

spark中local模式与cluster模式使用场景_如何应对大数据分析工程师面试Spark考察，看这一篇就够了...

weixin_39561673的博客

10-21

887

作者丨斌迪、HappyMint来源丨大数据与人工智能(ID:ai-big-data)【导读】本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。为什么考察Spark？Spark作为大数据组件中的执行引擎，具备以下优势特性。高效性。内存计算下，Spark 比 MapReduce 快100倍...

spark中local模式与cluster模式使用场景_Spark内核及通信框架概述-针对面试(后面有源码分析)...

weixin_39782573的博客

11-19

167

Spark 内核概述Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark的任务调度机制、Spark的内存管理机制、Spark核心功能的运行原理等。熟练掌握Spark内核原理能够帮助我们更好的完成Spark代码设计，并且在项目运行时出现问题可以快速的锁定问题的症结。Spark 核心组件回顾Cluster-Manager（Master，ResourceManager...

spark中local模式与cluster模式使用场景_详细总结spark基于standalone、yarn集群提交作业流程...

weixin_39673184的博客

11-19

508

最近总结了一些关于spark core的内容，今天先来和大家分享一下spark的运行模式。spark运行模式（1）local：在本地eclipse、IDEA中写spark代码运行程序，一般用于测试（2）standalone：spark自带的资源调度框架，支持分布式集群搭建。Spark可以运行在standalone集群上（3）Yarn：Hadoop生态圈中的资源调度框架，spark可以基于Yarn运...

spark中local模式与cluster模式使用场景_Spark的基本概念

weixin_39945679的博客

11-19

191

Spark的基本构成基本组成Spark是一个分布式系统，也是集多个功能模块于一身的统一平台。它基于一个内核模块衍生出机器学习，实时流计算，OLAP，和图数据处理等模块，如图1-1-1所示。本书主要介绍Spark内核模块的实现原理。图1 spark功能模块从图1中可以看出Spark内核模块是基础层，它是所有上层功能模块的基础。所有上层的功能模块都使用Spark内核模块提供的接口来实现其功能。Spar...

spark中local模式与cluster模式使用场景_Spark源码分析之 Driver和Excutor是怎么跑起来的?(2.2.0版本)...

weixin_39892460的博客

11-19

150

spark中local模式与cluster模式使用场景_当Hadoop遇上Spark（迷糊蛋手把手）

weixin_39988331的博客

11-19

455

今天终于要开始来写一写分布式计算的那些拧巴事儿了！我之前一直有个误解，以为 Spark和Hdfs是两个互相取代的东西，Hdfs和MapReduce是绑在一起的。最近才发现，完全不是这样... 正确的理解应该是：Spark和MapReduce才是‘竞争关系’，它们都是分布式计算的工具而已。而Hdfs几乎是分布式计算都会采用的文件存储系统，hdfs的全称是hadoop distributed fil...

java实现spark

ying.F的博客

02-16

905

这篇博客简要回顾一下我对spark的认识，主要记录的是对spark的两个转换操作aggregate() combineByKey()的运用。下载配置完spark后，注意要把spark的jar导入项目中。在spark中两个重要的概念就是RDD和操作。 RDD也即弹性分布式数据集。是一个不可变的分布式对象集合。简单地理解，就把它看成数据的容器就好了，我们所有的操作都是在这上面进行的。除了数据容器我