spark 存储体系——磁盘

最新推荐文章于 2024-07-25 10:54:12 发布
最新推荐文章于 2024-07-25 10:54:12 发布
阅读量394 收藏 3
点赞数 4
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43839095/article/details/139508510
版权

磁盘存储主要是DiskBlockManager和DiskStore两个类。比较简单。
DiskBlockManager：block和磁盘文件对应关系
DiskStore：将block实际写入磁盘文件

DiskBlockManager

主要类的成员：
localDirs: Array[File] 本地工作目录，参数是spark.local.dir
subDirs: Array[Array[File]] 子目录，spark.local.dir下面创建的子目录
getflie 获取block对应的文件，没有的话会创建
image.png

getFile

首先计算hash值，根据hash取余获取第一层目录，hash先整除再取余获取第二层目录。
如果对应的文件存在就直接返回，没有的话就创建一个新的file，放对应位置。
image.png

getAllFiles/getAllBlocks

getAllFiles是遍历subDirs的所有子目录下的文件。
getAllBlocks是调用getAllFiles。
image.png

createTempLocalBlock/createTempShuffleBlock

创建临时block也是调用getFile方法。
image.png

DiskStore

blockSizes：记录block和大小的map结构
put/putBytes：数据写入文件
getBytes：从文件中读取数据
remove：移除block
moveFileToBlock：将文件数据（一般是临时文件）转移到新的文件中
image.png

put/putBytes

putBytes是调用put方法。

  1. diskManager获取对应文件
  2. 将fileChannel包装成可以计数的CountingWritableChannel，写入的时候可以计数
  3. 调用writeFunc函数将数据写入
  4. 更新blockSizes的信息

image.png

getBytes

最终是将flie对象封装成DiskBlockData对象。DiskBlockData可以方便转换。
image.png

remove

image.png

moveFileToBlock

image.png

申尧强
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
Spark存储体系——磁盘存储DiskStore
LINBE_blazers的博客
04-13 513
DiskStore负责将Block存储磁盘，且依赖于DiskBlockManager的服务。在Spark 1.x.x版本中，BlockStore提供了对磁盘存储DiskStore、内存存储MemeoryStore及Tachyon存储TachyonStore的统一规范，DiskStore、MemoryStore和TachyonStore都是具体的实现。但从Spark 2.0.0版本开始，取消了...
spark toolsssss
10-07
即使在磁盘存储上，Spark也比Hadoop快上10倍。 2. **易用性**：Spark提供了Python（PySpark）、Java、Scala和R等多种API，便于不同背景的开发者使用。此外，Spark SQL结合了SQL和DataFrame，使得数据处理更加直观。...
Spark-2.4.5官网下载源码包
10-29
4. Spark Storage System：Spark的内存管理和持久化机制，允许数据在内存和磁盘之间动态移动以优化性能。 5. Shuffle操作：在分布式环境中重新组织数据的过程，涉及网络传输和数据重排，是性能调优的关键点。 6. ...
spark的源码包.zip
08-10
1. **Spark架构**：Spark的核心架构基于DAG（有向无环图）执行模型，它将任务分解为可重用的计算单元——任务(Task)，这些任务在工作节点(Worker Node)上执行。Spark集群由驱动程序(Driver Program)、集群管理器...
Spark_Oracle_I_通过jdbc读取oracle程序报错invalid character
Matrix70的博客
07-22 191
我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据，因此采用jdbc的方式，一开始我把sql变成query直接查，所以报上面的问题。其实一开始就是想要快一点读取oracle表数据，但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧，看看时间怎么样。不加query，直接在这里整出全表数据，然后再filter一下我们要的数据。这样是不行的，不能加query。
Spark-第一周
fighting_DW
07-22 982
Spark 应用程序作为集群上独立的进程集运行，由SparkContext 主程序（称为驱动程序）中的对象进行协调。具体来说，为了在集群上运行，SparkContext 可以连接到多种类型的集群管理器 （Spark 自己的独立集群管理器、Mesos、YARN 或 Kubernetes），这些集群管理器跨应用程序分配资源。连接后，Spark 会获取集群中节点上的执行程序，这些执行程序是为应用程序运行计算和存储数据的进程。
Spark RPC框架详解
小昌昌的博客
07-22 994
SparkContext构造过程的重要一步，就是Driver、ApplicationMaster以及Executor之间的协调和通信过程，这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程，而Netty的通信其实是基于Reactor架构进行的，Reactor架构其实是基于Java NIO模型进行的。本文详细讲解了基于Netty 的 SparkRPC 框架的实现细节。
Zilliz 推出 Spark Connector：简化非结构化数据处理流程
ZILLIZ
07-23 652
本文将介绍 Spark Connector 及其应用场景，并手把手教你如何使用它实现数据推送。
Spark 解析嵌套的 JSON 文件
最新发布
ytp552200ytp的博客
07-25 312
Spark 解析嵌套的 JSON 文件
Python--Spark RDD 操作和数据聚合笔记
mmd666的博客
07-22 425
Apache Spark 的 RDD（弹性分布式数据集）是用于并行处理的基石，能够容错且具有高吞吐量。本笔记详细介绍了 Spark RDD 的操作，包括环境配置、创建 RDD、使用flatMap和其他转换操作，以及数据聚合方法。还包括了复杂数据处理的示例，如日志文件分析和商品销售数据聚合，以及如何有效进行数据分区和重组操作的策略。通过这些知识点和示例，可以高效地处理和分析大规模数据集，优化 Spark 作业的性能和资源利用率。在实际应用中，根据数据特性和作业需求选择合适的方法和策略至关重要。
Spark核心知识要点（二）
ytp552200ytp的博客
07-25 549
Spark核心知识要点（二）
大数据学习之sparkstreaming
m0_58050808的博客
07-22 783
指令：spark-submit --master yarn --deploy-mode client --class com.shujia.streaming.Demo6YarnSubmit spark-1.0.jar。Option: 当前批次输入键对应的value值，如果历史中没有该键，这个值就是None, 如果历史中出现了这个键，这个值就是Some(值)2、有状态算子使用的时候，需要提前设置checkpoint的路径，因为需要将历史批次的结果存储下来。
spark 广播变量broadcast
weixin_43839095的博客
07-22 821
broadcast使用如下图，可以看到创建broadcast是val barr1 = sc.broadcast(arr1)，使用broadcast是barr1.value创建broadcast是使用的broadcastManager。
spark 操作map中执行self.方法报错
weixin_44280356的博客
07-22 462
spark不允许在action或transformation中访问SparkContext，如果你的action或transformation中引用了self，那么spark会将整个对象进行序列化，并将其发到工作节点上，来确保每个执行任务的节点都能够访问到该方法以及它所依赖的类实例状态，但是序列化有一个限制，那就是不是所有的对象都可以被序列化。spark把对象序列化时这其中就保留了SparkContext，即使没有显式的访问它，它也会在闭包内被引用，所以会出错。在pyspark中调用类方法，报错。
分布式系统常见软件架构模式
Ben的专栏
07-25 863
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 940
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 425
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
科普文：搭建信贷业务大数据风控体系
为无为，事无事，味无味。
07-22 922
大家好，本期为大家介绍如何从0到1搭建大数据风控体系。分为：获客、贷前、贷中、贷后、主要数据维度，以及如何识别风险客户。
spark性能优化指南——高级篇 (很详细)
06-06
很高兴为您介绍Spark性能优化指南——高级篇。 1. 数据倾斜问题 数据倾斜是指在Spark任务中，某些分区的数据量远远大于其他分区，导致任务执行时间过长。解决数据倾斜问题的方法包括： - 使用随机前缀或哈希分桶等方式对数据进行分区，使数据分布更加均匀。 - 对于reduceByKey等聚合操作，使用combineByKey或aggregateByKey等方法，避免数据倾斜。 - 对于join操作，使用broadcast变量或者将小表缓存到内存中，避免数据倾斜。 2. 内存管理 Spark的内存管理对于任务的性能有着重要的影响。以下是一些内存管理的优化方法： - 调整executor内存分配比例，避免OOM错误。 - 合理设置内存管理参数，如spark.memory.fraction、spark.memory.storageFraction等。 - 使用持久化存储，如cache或persist方法，避免重复计算和数据丢失。 3. 磁盘IO 磁盘IO是Spark任务中的瓶颈之一。以下是一些优化磁盘IO的方法： - 使用本地磁盘而非网络磁盘，避免网络IO带来的延迟。 - 使用压缩算法，如Snappy或LZ4，减少磁盘IO的数据量。 - 对于shuffle操作，使用Tungsten排序等优化算法，减少磁盘IO的次数。 4. 并行度 并行度是指任务中可以同时执行的任务数。以下是一些优化并行度的方法： - 调整任务的并行度，使任务能够充分利用集群资源。 - 对于shuffle操作，调整reduce任务的数量，避免过多的reduce任务导致性能下降。 - 对于数据量较大的任务，使用分区并行执行，避免单个任务的执行时间过长。 5. 网络传输 网络传输是Spark任务中的另一个瓶颈。以下是一些优化网络传输的方法： - 调整网络传输的缓存大小，使数据传输更加高效。 - 使用序列化算法，如Kryo或Java序列化，减少网络传输的数据量。 - 对于shuffle操作，使用Tungsten排序等优化算法，减少网络传输的数据量。 希望以上内容能够帮助您更好地优化Spark任务的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值