spark基础理论学习

最新推荐文章于 2023-04-26 20:01:21 发布
最新推荐文章于 2023-04-26 20:01:21 发布
阅读量189 收藏
点赞数
分类专栏： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_NEU_Lee/article/details/84578721
版权

SparkContext负责与ClusterManager通信，进行资源的申请 任务的分配和监控 

Worker:集群中任何可以运行appliction代码的节点，类似于yarn中的nodemanager。

共享变量：在spark application 运行时，可能需要共享一些变量，提供给task或者driver使用。1可以缓存到各个节点的广播变量 2 只支持加法操作的可以实现求和的累加变量。

上面为spark的相关术语

通过下面的spark作业调度系统了解spark相关术语之间的关系

spark的容错性能依靠lineagelai完成

 

 

IT_NEU_Lee
关注
专栏目录
2.1 Spark基本原理以及核心概念
ap0810217的博客
02-15 1万+
2.1 Spark基本原理以及核心概念 2.1.1 Spark基本工作原理 1. Client客户端：我们在本地编写了spark程序，打成jar包，或python脚本,通过spark submit命令提交到Spark集群； 2. 只有Spark程序在Spark集群上运行才能拿到Spark资源，来读取数据源的数据进入到内存里； 3. 客户端就在Spark分布式内存中并行迭代地处理数
Spark理论
谁说大象不能跳舞
03-27 248
exector都是装载在container里运行，executor分配的内存是executor-memory,像Yarn申请的内存是（executor-memory+1）*num-executors. AM在Spark中叫driver，AM像RM申请的是executor资源，当分配完后，executor启动，由spark的AM向executor分配task，分配task、分配到哪个executor...
Spark学习二：spark基础理论知识
patrick_big_data的博客
02-21 726
文章目录Spark生态系统Components （组件）Glossary（术语表）deploy mode中cluster和client的区别Spark和Hadoop作业之间的区别MapReduce的task进程模型和Spark的task的线程模型MapReduce的task多进程模型Spark的task的多线程模型优劣势对比参考网址 Spark生态系统 Spark Core： Spark Co...
spark基础知识
zhilinboke的博客
06-20 157
通过最近公司对spark的应用，在应用过程中加深了对spark基础原理的理解
Spark的最全相关基础理论图
从此一心向前，别无它念
08-30 190
spark运行原理机构图 spark的stage阶段划分的算法 spark-on-yarn模式 sparkContext的构建过程 spark 的MasterHA机制 worker节点的原理
大数据系列——Spark理论
最新发布
mql007007的博客
04-26 1338
Apache Spark，全称伯克利数据分析栈，是一个开源的基于内存的通用分布式计算引擎，内部集成大量的通用算法，包括通用计算、机器学习、图计算等，用于处理大数据应用。主要由下面几个核心构件组成，具体包括：集群资源管理器(Muster Node）、任务控制节点(Driver)、任务执行节点(Worker Node)。其中集群资源管理器可自由集成其他管理器（例如Yarn、Mesos、K8s等），目前一般主流生产环境都搭载在Yarn上运行。
Spark基础
开开_王子的博客
10-16 417
1、什么是Spark？ Spark是一个针对大规模数据处理的快速通用引擎。 类似MapReduce，都进行数据的处理2、Spark的特点： （1）基于Scala语言、Spark基于内存的计算 （2）快：基于内存 （3）易用：支持Scala、Java、Python （4）通用：Spark Core（
基于Spark的机器学习平台设计与实现
04-28
算法工作均以大规模机器学习的相关基础理论为有效支持,充分体现平台的运行 效率和可扩展性; 在算法设计过程中，本文针对大数据场景对经典算法进行一些改进优化工作。 例如，基于集成学习理论方法，采用Bagging策略来...
spark全套学习资料.zip
06-30
- 01_尚硅谷大数据技术之Spark基础解析.docx提供Spark的入门知识，包括安装部署、基本操作和简单的数据分析示例。 - OverFunction.scala可能是某个自定义函数的示例代码，展示了如何在Spark中编写和使用用户定义的...
spark，flink学习
05-23
- **Spark Core**：基础计算引擎，支持批处理和交互式查询。 - **Spark SQL**：提供了SQL接口，使得用户可以使用SQL或者DataFrame/Dataset API进行数据处理。 - **Spark Streaming**：对连续数据流进行微批处理，...
《Spark编程基础及项目实践》课后习题及答案7.pdf
04-04
综上所述，本课程的习题涵盖Spark图形处理的基本概念，包括图的理论、Spark的图API以及实际应用，如PageRank算法的实现。掌握这些知识对于理解Spark如何处理大规模数据和进行复杂计算至关重要。通过解答这些习题，...
基于spark的机器学习算法实现
06-29
综上所述，这个项目涵盖了大数据处理、机器学习基础理论、Spark框架应用以及Scala编程等多个方面的知识。通过深入理解和实践这些知识点，开发者能够实现高效的机器学习算法，并在大规模数据集上进行实验，提升预测和...
Spark集群基础概念 与 spark架构原理
weixin_30765475的博客
03-24 249
一、Spark集群基础概念 将DAG划分为多个stage阶段，遵循以下原则： 1、将尽可能多的窄依赖关系的RDD划为同一个stage阶段。 2、当遇到shuffle操作，就意味着上一个stage阶段结束，下一个stage阶段开始 关于RDD中的分区，在默认情况下（也就是未指明分区数的情况） 1、如果从HDFS中读取数据创建RDD，在默认情况下 ...
mat格式转换成csv格式
IT_NEU_Lee的博客
10-28 8108
最近发现了一个超好的工具 也可以说是代码 值得推广 能够吧mat格式批量转变成csv格式 超赞 网上的大部分都不是特别好,很多代码都不能很好的运行,现在有个Python版本的,分享给大家 # coding=utf-8 import scipy.io as sio import pandas as pd import os def mat2csv(): """ 将当前目录...
hadoop上传文件时WARN hdfs.DFSClient: DataStreamorg.apache.hadoop.ipc.RemoteException(java.io.IOException)
IT_NEU_Lee的博客
09-15 3383
安装好Hadoop后一直没有用  今天往hdfs上传文件的时候突然出现如下bug,翻看别人的博客和相关查找后  发现是自己当时可能使用了两次hadoop namenode -format 命令   hadoop dfs -put ~/words.txt  /test DEPRECATED: Use of this script to execute hdfs command is depreca...
Spark为什么要在Hadoop基础之上搭建
IT_NEU_Lee的博客
05-23 3343
今天突然想到这个问题   但网上都是些复制粘贴的内容    不能很好地解答   经过查找资料   我在这里给出我的说明  仅供参考：      尽管Spark相对于Hadoop而言具有较大优势（速度快），但Spark并不能完全替代Hadoop，主要用于替代Hadoop中的MapReduce计算模型。（spark中也有MapReduce 但还有更多的用于处理的算子  相对来说处理更加多样化   更重...
python源码中明明没有逻辑代码 为什么还能执行呢
IT_NEU_Lee的博客
10-10 2588
最近看Python代码  按照一个函数递进的看下去,最后发现,遇到很多源码什么逻辑都没写,仅仅以一个pass  结尾           但却能得到应该得到的结果,这点真的很奇怪,上网查找后 觉得下面的说法还挺符合我的想法  在这里粘贴出来,以后学习深入后继续增加或者修改相关表述: python是C语言实现的，尽管有很多标准库是由python代码实现，但是涉及到底层支撑架构的功能还是C代码。...
Linux查看内存大小与内存插槽数
IT_NEU_Lee的博客
06-27 2040
查看内存插槽数:sudo dmidecode|grep -P -A5 "Memory\s+Device"|grep Size|grep -v Range 查看最大容量:sudo dmidecode | grep -P 'Maximum\s+Capacity'
启动hadoop成功后，再次启动datanode 和namenode都没有 但有nodeManager
IT_NEU_Lee的博客
07-24 1165
安装hadoop 启动后发现成功 但之后因为某些原因重新启动 发现重新启动不起来了 datanode和namenode都没有了 怎么找也找不到 但可以看到nodeManager还在 这是个什么幺蛾子 我重新删除log tmp文件夹 然后format 啊哈 没有一点用 最后发现后台进程中JVM占用了50010端口 这我就知道了 因为之前没有合理的关闭ha...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值