Spark的RDD详解和自定义RDD（源码）

最新推荐文章于 2024-05-21 19:59:36 发布
最新推荐文章于 2024-05-21 19:59:36 发布
阅读量4.4k 收藏 6
点赞数 1
分类专栏： spark 文章标签： spark 大数据 分布式计算 内存计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1043498776/article/details/54891946
版权
RDD概论具体概念百度（以下总结）：Spark中 RDD本身并不是数据，只是数据信息的集合。里面包含数据的分区信息；和获取数据的方式；Spark有很多类型的RDD；getPartitions只运行一次；compute每次有action算子的时候都会运行，一个partition一次。NewHadoopRDD根据id（rdd的id）生成一个Jobid 获取分区的方式，是根据inputFormatC
摘要由CSDN通过智能技术生成

个人GitHub地址 ：https://github.com/LinMingQiang

RDD概论

具体概念百度（以下总结）：
Spark中 RDD本身并不是数据，只是数据信息的集合。
getPartitions只运行一次；
compute每次有action算子的时候都会运行，一个partition一次。

NewHadoopRDD

Jobid

这里写图片描述

Partition

获取分区的方式，是根据inputFormatClass的反射获取inputFormat类来获取分区,获取split信息,然后new几个NewHadoopPartition（个数等于分区数）。一般自定义的Partition都没什么东西，都是一些partition的信息(例如数据的开始结束offset，主要是在获取数据时提供信息)

最低0.47元/天 解锁文章
LonelysWorld
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark RDD 自定义分区器
congge_study的博客
04-30 677
Spark 自定义分区器
spark自定义RDD
u013939918的博客
07-21 556
一、为什么需要自定义RDD 1. spark提供了很多方法读数据源，比如我们当前可以从hdfs文件、jdbc、mongo、hbase等等将数据包装成RDD供我们后续进行处理。如果我们想要读memcache中的数据恐怕就没有现成的了，需要我们自己实现自己的RDD。 2. RDD是一种弹性分布式数据集，本质就是对数据的封装与抽象。讲道理我们可以将任何我们想要的数据按照我们的业务情况将数据进行分片，而不是对spark的API深度依赖。 二、搭建项目 本demo完成功能： ...
[Spark]自定义RDD
I have a adream
12-27 431
scala源程序 //MyRDDTest.scala package org.apache.spark.myrdd { import org.apache.spark.{Partition, SparkContext, TaskContext} import scala.reflect.ClassTag import org.apache.spark.rdd._ private...
Spark中RDD概述及RDD算子详解
最新发布
weixin_52134189的博客
05-21 1155
Spark中RDD概述及RDD算子详解
在Spark上通过自定义RDD访问HBase
张伟的专栏
06-21 1241
在Spark上通过自定义RDD访问HBase 2017年6月21日作者：robin 暂无评论 文章目录 [显示] 这里介绍一个在Spark上使用自定义RDD获取HBase数据的方案。 这个方案的基础是我们的HBase表的行键设计。行键设计大概是这样子的：标签ID+时间戳+随机码。平时的需求主要是导出指定标签在某个时间范围内的全部记录。根据需求和行键设计确定
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每一个RDD都会有5个...
Spark源码剖析
05-22
5. **弹性数据集（Dataset）**：在 Spark 2.x 中，引入了 Dataset API，结合了 RDD 的高效性和 DataFrame 的强类型性，提供编译时检查和优化。 6. **资源调度**：Spark 可以与 YARN、Mesos 或 Kubernetes 集成，...
Spark技术内幕
05-10
此外，源码详解部分会深入到Spark的内部机制，比如任务调度算法、内存管理策略和数据序列化等。 Spark的源码阅读对于深入理解其工作原理至关重要。读者可以从中了解到Spark如何实现高效的分布式计算，以及如何通过...
Spark大数据中文分词统计Scala语言工程源码
08-20
《Spark大数据中文分词统计Scala语言工程源码详解》 在大数据处理领域，Apache Spark以其高效、易用的特性成为了众多开发者的首选工具。而针对中文数据，分词是进行文本分析的重要步骤，尤其在诸如情感分析、关键词...
xmqtt spark2.6.1 源码项目
01-18
《Xmqtt Spark2.6.1 源码解析与即时通信详解》 在IT行业中，Spark和Xmqtt是两个非常关键的技术组件。Spark作为大数据处理领域的明星框架，以其高效、易用的特点深受开发者喜爱，而Xmqtt则是一款强大的MQTT（Message...
spark 自定义RDD，通过j2ssh远程读取文件
wang972779876的博客
06-04 221
如何自定义RDD 1.引用依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.
spark: 简单的自定义RDD分区器
amadeus_liu2的博客
01-31 440
二、使用自定义分区器。
Spark基础学习笔记：创建RDD
py20010218的博客
06-19 433
Spark基础学习笔记：创建RDD
[Spark]自定义RDD的计算函数
I have a adream
12-27 898
MyRDDTest.scala package org.apache.spark.myrdd { import org.apache.spark.{Partition, SparkContext, TaskContext} import scala.reflect.ClassTag import org.apache.spark.rdd._ private[myrdd] cl...
Spark----SparkCore 如何序列化自定义RDD操作
qq_43437122的博客
08-26 298
在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要主要的是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要序列化的。 当我们自定义一个RDD操作类的时候，通常需要在两个地方考虑序列化，分别是：传递一个方法、传递一个属性。 如何传递一个方法？ 1、我们定义一个RDD工具类： class Search() { val query: String = "h" // 过滤出包含字符串的数据 def
RDD Dependency详解---Spark学习笔记9
OopsOutOfMemory盛利的博客
04-16 6895
RDD的最重要的特性之一就是血缘关系，血缘关系描述了
spark如何自定义redisson rdd
yuqu123的专栏
06-07 253
海量数据的情况下，采用spark-redis无法满足数据处理性能，其通过scan的方式遍历亿级键值时，在足够资源的情况下，无法满足一分钟内拉完亿级数据的需求，因此需要对REDIS的存储结构进行设计，并结合当前业务流行的、性能极高的与REDIS组件Redisson自定义spark rdd的方式，改善数据读取方式。 RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集，其最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来...
Spark核心解析：RDD详解
在Spark源码的`org.apache.spark.rdd.RDD`包中，包含了RDD实现的关键方法。例如，`getPartitions`方法用于获取RDD的分区集合，这个方法只会被调用一次，因此适合执行耗时的操作。此外，RDD还提供了诸如`count`、`...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值