RDD使用

最新推荐文章于 2023-01-10 23:16:22 发布
最新推荐文章于 2023-01-10 23:16:22 发布
阅读量521 收藏 2
点赞数
分类专栏： bigdata 文章标签： RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dudefu011/article/details/80080604
版权

RDD操作

RDD的创建方式

  1. 从Hadoop文件系统（或与Hadoop兼容的其他持久化存储系统，如Hive、Cassandra、HBase）输入（例如HDFS）创建。
  2. 从父RDD转换得到新RDD。
  3. 通过parallelize或makeRDD将单机数据创建为分布式RDD。
    4.基于DB(Mysql)、NoSQL(HBase)、S3(SC3)、数据流创建

RDD的两种操作算子

对于RDD可以有两种操作算子：转换（Transformation）与行动（Action）。
1. 转换（Transformation）：Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发运算。
2. 行动（Action）：Action算子会触发Spark提交作业（Job），并将数据输出Spark系统。

  • Transformation具体内容：
    image

  • Action具体内容
    image

夜下探戈
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark核心RDD详解（设计与运行原理，分区，创建，转换，行动与持久化）
个人学习笔记库，一篇一篇记录成长的足迹
01-30 3424
弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。
RDD是什么？
Shockang的博客
09-15 5194
RDD可以说是Spark Core最核心的内容，这一篇开始我将根据自己的理解针对RDD进行深入的剖析。 注意一些关于Spark Core的简单的概念理解，请参考一下我的这篇博客： Spark学习笔记二之Spark Core核心概念一网打尽 简介 定义 ​ RDD(Resilient Distributed Datasets) ，直译成中文就是：弹性分布式数据集。 ​ 本质上，RDD 其实就是一系列元数据构成的，包含着数据分区列表，计算逻辑， RDD 之间的依赖转换关系等。 RDD和Spark的关系： ​ S
RDD概念
MusicDancing的博客
08-28 967
1. 设计背景 存在的问题 1. 许多迭代式算法(ML、图算法等)和交互式数据挖掘工具，共同之处是，不同计算阶段之间会重用中间结果。 2. 目前的MR框架都是把中间结果写入到HDFS，带来大量的数据复制、磁盘IO和序列化开销。 RDD的优势 1. RDD提供了一个抽象的数据架构； 2. 不需担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理； 3. 不同RDD之间的转换操作形成依赖关系，可以实现管道化，避免中间数据存储。 2. RDD概念 一个RDD就是一个分布式对
Spark Core----RDD详解
m0_48639280的博客
01-10 706
RDD概念的诞生来自于一片国外论文Matei等人提出了RDD这种数据结构标题翻译过来，弹性分布式数据集：一个在内存集群计算中可以实现高度容错的计算对象。RDD定义RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset：一个数据集合，用于存放数据的。Distributed：RDD中的数据是分布式存储的，可用于分布式计算。
RDD简介
SunnyRivers
03-30 2501
RDD：弹性分布式数据集（Resilient Distributed Dataset，简称 RDD）。RDD 其实就是分布式的元素集合。----Spark最根本的数据抽象。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。而在这一切背后，Spark 会自动将RDD 中的数据分发到集群上，并将操作并行化执行。 RDD的五个属性：（1）一组分片（...
RDD使用基础
10-19
RDD特点： 1、 自动的进行内存和磁盘的切换 2、 基于Lineage的高效容错（第n个节点出错，会从第n-1个节点回复，血统容错） 3、 Task如果失败会自动进行特定次数的重试（默认4次） 4、
2.rdd使用1
08-03
1. RDD （弹性分布式数据集 Resilient Distributed Dataset ）： Spark 中数据的核心抽象 2. 在 spark 中， R
PySpark RDD cheat Sheet
01-29
在PySpark中，RDD（Resilient Distributed Datasets）是数据处理的核心抽象，它是一个不可变、分区的数据集，可以在集群中的多个节点上并行处理。PySpark是Python语言对Spark API的封装，使得Python开发者可以方便地...
spark rdd api
04-28
本文详细的描述了spark rdd的api 这些api 应该够我们日常生产使用了
Spark学习笔记之Spark中的RDD的具体使用
08-25
Spark学习笔记之Spark中的RDD的具体使用 本文主要介绍了Spark学习笔记之Spark中的RDD的具体使用，通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。 知识点一：RDD的概念和特点 * RDD...
什么是RDD?带你快速了解Spark中RDD的概念!
热门推荐
大数据梦想家
02-23 1万+
        看了前面的几篇Spark博客，相信大家对于Spark的基本概念以及不同模式下的环境部署问题已经搞明白了。但其中，我们曾提到过Spark程序的核心，也就是弹性分布式数据集(RDD)。但到底什么是RDD,它是做什么用的呢？本篇博客，我们就来详细讨论它们的使用情况。 文章目录RDD概述1.什么是RDD2.R...
Rdd详解
zhm的博客
06-20 1930
RDD 详解 1. RDD概述 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 2. R...
Spark之RDD使用详解
zengxingyuluo的博客
07-03 1337
一、创建 1、外部数据源 （1）读取win读取win val conf=new SparkConf().setAppName("New Test").setMaster("local") val sc=new SparkContext(conf) val readText=sc.textFile("D:\\example\\one.txt") val result=readText.sa...
10.RDD用法
GCPOP的博客
06-17 248
函数签名 函数说明用法 1.3 mapPartitions方法 函数签名 函数说明 小功能：获取每个数据分区的最大值[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w0ka0mjo-1655396109919)(assets/clip_image002.jpg)] 思考一个问题：map和mapPartitions的区别？数据处理角度Map算子是分区内一个数据一个数据的执行，类似于串行操作。而mapPartitions算子是以分区为单位进行批处理操作。功能的角
RDD基础操作
Andy_shenzl的博客
07-06 1075
创建RDD 从文件系统加载 .textFile() line=sc.textFile(’/Users/admin/Desktop/word.txt’) sc=SparkContext line.foreach(print) 并行集合(数组)创建 parallelize array=[1,2,3,4,5] rdd=sc.parallelize(array) rdd.foreach(print) rdd操作 转换操作 只记录轨迹，不进行计算 filter：过滤 lines=sc.textFile(’/Us
什么是RDD？RDD的特点？RDD与Dataframe的关系？
Black eyes的博客
01-10 2838
一、什么是RDD？ RDD是Spark计算的时候操作的数据集，全称是Resilient Distributed Datasets(弹性分布式数据集)。 数据是分布在多台机器上的，为了好处理，将这些分布的数据抽象成一个RDD。这个RDD就是所有数据的代理，操作RDD就相当于操作分布在每台机器上的数据。 二、RDD 有三个基本特性 1. 分区 每一个 RDD 包含的数据被存储在系统的不同节点...
大数据Spark RDD介绍
赵广陆
08-21 436
目录1 RDD 定义2 RDD 特性3 WordCount中RDD 1 RDD 定义 对于大量的数据，Spark 在内部保存计算的时候，都是用一种叫做弹性分布式数据集（ResilientDistributed Datasets，RDD）的数据结构来保存的，所有的运算以及操作都建立在 RDD 数据结构的基础之上。 在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-MemoryCluster Comput
spark进阶（四）：RDD使用
泛泛之素
10-06 1062
Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（ResilientDistributed Dataset，RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。 RDD的主要特征如下： RDD是不可变的，但可以将RDD转换成新的RDD进行操作。 RDD是可分区的。RDD由很多分区组成，每个分区对应一个Task任务来执行（关于分区将在3.4节详细讲解）。 对RDD进行操作，相当于对RDD的每个分区进行操作。 RDD拥有一系列对分
Spark——RDD操作详解
俺叫赵小邪的博客
11-22 9274
一、基本RDD 1、针对各个元素的转化操作 最常用的转化操作是map()和filter()。转化操作map()J接收一个函数，把这个函数用于RDD中的每一个元素，将函数的返回结果作为结果RDD中对应元素。而转化操作filter()则接收一个函数，将RDD满足该函数的元素放入新的RDD中返回。map()的返回值类型不需要和输入类型一样。 从一个RDD变成另外一个RDD。lazy，懒执行 。比如根
【spark】架构原理rdd使用详解
最新发布
06-06
Spark是一个分布式计算框架，其核心是RDD（Resilient Distributed Datasets）。 RDD是一种可靠的、分布式的数据集合，可以在集群中进行并行计算。它的特点是不可变性、容错性和可分区性。 不可变性：RDD中的数据集合是不可变的，一旦创建就不能修改。如果需要对数据进行修改，需要创建一个新的RDD。 容错性：RDD具有容错性，即在集群中的任何一个节点出现故障时，Spark可以自动恢复该节点上的数据。 可分区性：RDD可以分成多个分区，每个分区可以在不同的节点上进行并行计算，从而提高计算效率。 RDD支持两种操作：转换操作和行动操作。转换操作是指对RDD进行转换，生成一个新的RDD，而不会改变原有的RDD。行动操作是指对RDD进行计算，返回一个结果或将结果保存到外部存储系统中。 常见的转换操作有map、filter、flatMap、union、distinct、groupByKey、reduceByKey等。常见的行动操作有count、collect、reduce、foreach等。 总之，RDD是Spark的核心，掌握RDD的使用方法对于理解Spark的架构原理非常重要。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值