大数据RDD详解笔记

最新推荐文章于 2023-05-26 00:00:00 发布
最新推荐文章于 2023-05-26 00:00:00 发布
阅读量817 收藏 3
点赞数 3
分类专栏： PySpark 文章标签： big data hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phthon1997/article/details/124738648
版权

1.为什么需要RDD？

RDD(Resilient Distribute Datasets):弹性分布式数据集
在这里插入图片描述在这里插入图片描述

2.RDD的五大特性

前三个是必须的，后面两个是可选的。
在这里插入图片描述
1.RDD是有分区的
RDD的分区是RDD数据存储的最小单位，一份RDD数据本质上被分成了很多分区。
分区是物理概念，RDD是逻辑上的概念，和列表字典一样。
2.计算方法会作用到每一个分区之上
在这里插入图片描述
3.RDD之间是有互相依赖关系的
在这里插入图片描述
4.Key- Value型的RDD可以有分区
在这里插入图片描述
5.RDD的分区规划，会尽量靠近数据所在的服务器
在这里插入图片描述

3.wordcount案例的RDD分析图

在这里插入图片描述

在这里插入图片描述

4.程序执行入口：SparkContext 对象

在这里插入图片描述

5.RDD的两种创建方式

在这里插入图片描述
1.并行化创建，使用parallelize()创建
在这里插入图片描述
2.读取文件创建，使用textFile()以及wholeTextFile()创建
在这里插入图片描述
在这里插入图片描述

6.RDD算子概念和分类

算子是什么：分布式集合对象上的API叫做算子
本地对象的API，叫做方法/函数
分布式对象的API，叫做算子
算子我们可以分成两类：
在这里插入图片描述

小鱼编程
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据技术之Spark（二）——RDD常用算子介绍
five小点心的博客
03-31 2576
RDD 的操作分为和。就是从一个 RDD 产生一个新的 RDD；就是进行实际的计算。我们把RDD方法也称为算子。所以转换操作和行动操作一般也被叫做和。
大数据开发之Spark（RDD弹性分布式数据集）
最新发布
key_honghao的博客
01-23 1239
1、hashpartitioner源码解读case _ =>false2、自定义分区器要实现自定义分区器，需要继承org.apache.spark.partitioner类，并实现下面三个方法。1）numpartitions：int：返回创建出来的分区数2）getpartition(key:any)：int：返回给定键的分区编号（0到numpartitions-1）3）equals()：java判断相等性的标准方法。
大数据学习笔记 3.3 掌握RDD分区
Cisyamr的博客
05-26 358
在有些情况下，使用Spark自带的分区器满足不了特定的需求。例如，某学生有以下3科三个月的月考成绩数据。科目成绩chinese98math88english96chinese89math96english67chinese88math78english89现需要将每一科成绩单独分配到一个分区中，然后将3科成绩输出到HDFS的指定目录（每个分区对应一个结果文件），此时就需要对数据进行自定义分区。
【SQL进阶】子查询去重、获取商品分类最新销售情况
ChinaLiaoTian的博客
10-26 464
prod_sales字段说明： 1、id 自增ID 2、prod_class 商品分类 3、sales_date 销售汇总日期 4、prod_id 商品ID或名称 5、sales_num 销售数量 select a.* from prod_sales a INNER JOIN (select prod_class,max(sales_date) as sn from prod...
详解RDD基本概念、RDD五大属性
热门推荐
大数据
07-02 1万+
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和计算函数；RDD 也可以缓存起来, 相当于存储具体数据。Distributed： RDD 支持分区, 可以运行在集群中。Resilient：RDD 支持高效的容错；RDD 中的数据即可以缓存在内存中
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每一个RDD都会有5个...
Spark RDD详解
01-07
常见疑问 Spark与Apache Hadoop有何关系？ Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何Hadoop InputFormat...
大数据spark学习之rdd概述
05-03
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及...
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
大数据学习笔记.pdf
11-03
2.5 Spark RDD数据分享 ............................................................................................... 10 2.6 Spark RDD 迭代操作 ...........................................................
RDD简介
qinlingheshang的博客
03-03 8850
RDD概念 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，是spark core的底层核心，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合，存储很多数据. Distributed：它内部的元素进行了分布式存储，方便于后期进行分布式计算. Resilient：表示弹性，rdd的数据是可以保存在内存或者是磁盘中. RDD 五大属性 A list of partitions RDD 是 一组
大数据知识宝典（Spark篇之RDD）
一往无前
09-20 318
注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。​​​​​ Spark部分 Spark是一种快速、通用、可扩展的大数据分析引擎，是用Scala进行编写的。 Spark的内置项目如下： Spark应用提交 一旦打包好,就可以使用bin/spark-submit脚本启动应用了. 这个脚本负责设置spark使用的classpath和依赖,支持不同类型的集群管理器和发布模式: ./bin/spark-submit \ --class <main-class&gt...
spark2.2官方教程笔记-spark编程向导
weixin_34034261的博客
08-07 162
为什么80%的码农都做不了架构师？>>> ...
大数据RDD编程
Chasity_x的博客
12-20 413
RDD编程（1）——RDD创建： 方法：通过并行集合（数组），从文件系统中加载数据 1. 从文件系统中加载数据 本地文件加载： file:/// 从本地文件word.text中把它从磁盘中加载进来，加载 到内存，生成一个RDD - 每一个RDD元素是字符串类型（文本文件每一行都是一个字符串） 三种表达方式等价，都是放在当前用户主目录下 2.通过并行集合（数组）创建RDD SparkContext对象中的Parllelize方法 ...
Spark核心RDD详解（设计与运行原理，分区，创建，转换，行动与持久化）
个人学习笔记库，一篇一篇记录成长的足迹
01-30 3123
弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。
RDD—Transformation算子
JStana的博客
11-25 836
RDD-Transformation 算子
SAP 销售订单 TEXT 内容获取
新宾二亮子
09-17 1774
<br />头一段时候，有个同事问我，找了半天没找到。<br />今天突然在网上看到一篇文章，在此记录。<br /> <br />se37:READ_TEXT <br />参数<br />. CLIENT<br />2. TEXT ID<br />3. LANGUAGE<br />4. TEXT NAME<br />5. TEXT OBJECT
RDD的5大特点
Mercy007的博客
01-08 8006
1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。每个分配的存储是由BlockManager实现的，每个分区
RDD是什么？
Shockang的博客
09-15 5012
RDD可以说是Spark Core最核心的内容，这一篇开始我将根据自己的理解针对RDD进行深入的剖析。 注意一些关于Spark Core的简单的概念理解，请参考一下我的这篇博客： Spark学习笔记二之Spark Core核心概念一网打尽 简介 定义 ​ RDD(Resilient Distributed Datasets) ，直译成中文就是：弹性分布式数据集。 ​ 本质上，RDD 其实就是一系列元数据构成的，包含着数据分区列表，计算逻辑， RDD 之间的依赖转换关系等。 RDD和Spark的关系： ​ S
[spark学习] spark rdd详解
06-28
Spark RDD（弹性分布式数据集）是Spark中最基本的数据结构之一，它是一个不可变的分布式对象集合，可以在集群中进行并行处理。RDD可以从Hadoop文件系统中读取数据，也可以从内存中的数据集创建。RDD支持两种类型的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值