Spark-RDD详解

最新推荐文章于 2023-04-20 22:00:00 发布
VIP文章 最新推荐文章于 2023-04-20 22:00:00 发布
阅读量632 收藏
点赞数
分类专栏： Spark RDD 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_FuL/article/details/78393970
版权

什么是RDD?

  • 弹性分布式数据集分布在不同集群节点的内存中
  • 可以理解成一大数组
  • 数组的每一元素是RDD的一分区
  • RDD的每一分区是一数据块
  • 一个RDD可以分布并被运算在多台计算机节点的内存及硬盘中

RDD代表了一系列数据集合分布在机群的内存中。SPARK CORE 的任务是对这些数据进行分布式计算。

RDD特性

  1. RDD数据块可以放在磁盘上也可放在内存中(取决于设置)
  2. 如出现缓存失效或丢失，RDD的分区可以重新计算刷新
  3. RDD本身是不能被修改的
  4. 但RDD可以通过API (底层采用Scala)被变换生成新的RDD

RDD的类型

  • 并行集合（Parallelized Collections）：来自于分布式化的数据对象比如PYTHON 中的list 对象.比如用户自己键入的数据
  • 文件系统数据集（如 Hadoop Datasets 或文本文件.比如通过SparkContext.textFile() 读取的数据

并行化集合是通过调用SparkContext的parallelize方法，在一个已经存在的数据集合上创建的（一个Seq对象）。集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集

RDD的计算方式

  1. 变换(Transformations) (如：map, filter)的返回值仍然是一个RDD，Transformations操作是Lazy的，也就是说变换只是一些指令集而并不会去马上执行，需要等到有Actions操作的时候才会真正计算给出结果。Lazy Evaluation。
  2. 操作(Actions) (如：count, collect)，Actions操作会返回结果或把RDD数据输出到各类系统中。Actions触发Spark启动并找到最优的计算途径。返回值是非并行化的数据集合比如 PYTHON 中的list

最低0.47元/天 解锁文章
C_FuL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark RDD详解
01-07
Spark与Apache Hadoop有何关系？ Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何Hadoop InputFormat中的数据...
Spark RDD
MaynyWoody的博客
07-18 251
转自：https://blog.csdn.net/u011564172/article/details/53310530 概要         RDD是为了处理迭代算法和数据发掘应运而生的，keep数据在内存，显著提升性能。         RDD基于lineage实现容错，而不是shared state的update。 简介        背景        原有的并行框架MapRe...
SparkRDD的理解
我的笔记
08-16 279
spark简介 RDD是什么 RDD是什么 RDD在Spark中的地位及作用 RDD底层实现原理 RDD cache的原理 RDD的位置可见性(location preference) 如何操作RDD？ SparkSQL的shuffle过程 https://www.cnblogs.com/wzj4858/p/8...
Spark----RDD（弹性分布式数据集）
Maverick_曲流觞的博客
04-20 1702
RDD，RDD是什么？为么需要RDD？，RDD的五大属性，WordCount中的RDD的五大属性，如何创建RDD？RDD的操作，基本算子/操作/方法/API，分区操作，重分区操作，聚合操作，四个有key函数的`区别`，关联操作，排序操作，RDD的缓存/持久化，cache和persist，checkpoint检查点，共享变量，Shuffle本质
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
spark RDD操作详解
09-25
RDD即弹性分布式数据集，有容错机制并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD只是数据集的抽象，分区内部并不会存储具体的数据。
Spark源码系列（二）RDD详解
01-30
上一章讲了Spark提交作业的过程，这一章我们要讲RDD。简单的讲，RDD就是Spark的input，知道input是啥吧，就是输入的数据。RDD的全名是ResilientDistributedDataset，意思是容错的分布式数据集，每一个RDD都会有5个...
spark rdd 操作详解
04-22
spark rdd相关操作详解;包括全部的操作说明和举例；
spark RDD
Inkbamboo专栏
12-14 688
声明： 该文档根据spark工程师qq群（511947673）中提供的rdd-api.pdf文档中rdd顺序，进行了一系列的测试。 部分不详细的rdd/transform参考： http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html。该文档很详细地归纳了rdd，也包含完全的例子。 建议：学习过程中不懂
Spark-RDD
风千里的博客
09-25 389
RDD的概述 俯视整个Spark程序，所有Spark的Application都包含一个Driver程序，该程序是用户的主函数以及在集群中执行各种各样的并行操作。Spark中提出了一个核心的概念 resilient distributed dataset 简称 RDD，RDD是一个并行的分布式集合 ，该集合数据可以跨节点存储，所有的RDD操作都是在集群的计算节点中并行的执行。RDD可以直接通过Had...
Spark 系列（三）—— 弹性式数据集RDDs
weixin_30491641的博客
08-08 96
一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数，...
Spark RDD（弹性分布式数据集）
weixin_47243236的博客
12-09 796
1. RDD 1.1 RDD 是什么 RDD（Resilient Distributed Dataset）：弹性分布式数据集，是 Spark 对数据集的抽象，代表一个只读、不可变、可分区、其中元素可进行并行计算的集合，并且是可跨越集群节点进行并行操作的有容错机制的集合。 RDD 是通过 Hadoop 文件系统（HDFS）中文件或者驱动程序中现有的 Scala 集合开始，然后对其进行转换来创建的。 1.2 RDD 特性 A list of partitions RDD 是一个包含多个分区的列表
spark-spark函数详解rdd转换与操作
最新发布
06-28
### 回答1： Spark中的RDD（Resilient Distributed Datasets）是一种分布式的数据结构，它可以被分割成多个分区，每个分区可以在不同的节点上进行计算。RDD提供了一系列的转换和操作函数，可以对RDD进行各种操作。 RDD转换函数包括map、filter、flatMap、union、distinct、groupByKey、reduceByKey、sortByKey等。这些函数可以对RDD进行转换操作，生成新的RDD。 RDD操作函数包括count、collect、reduce、take、foreach等。这些函数可以对RDD进行操作，返回结果或者将结果输出到外部系统。 在使用RDD时，需要注意一些问题，如RDD的惰性计算、RDD的持久化、RDD的分区等。同时，还需要根据实际情况选择合适的RDD转换和操作函数，以达到最优的计算效果。 总之，Spark中的RDD转换和操作函数是非常重要的，掌握它们可以帮助我们更好地使用Spark进行分布式计算。 ### 回答2： Spark是一个基于内存计算的分布式计算框架，可以实现大规模数据集的快速处理。在Spark中，RDD（弹性分布式数据集）是数据处理的核心概念，它是一种可以分区、并行计算和容错的不可变数据结构。而Spark中的函数式编程模型则将RDD的转换与操作都看做是函数的调用，从而简洁明了，易于理解和操作。 在Spark中，解决一个具体问题通常涉及一系列RDD的转换和操作。RDD的转换包括对原有RDD进行过滤、映射、聚合等处理，得到新的RDD；操作则是对新的RDD进行输出、保存、统计、排序等操作。以下介绍几种常见的RDD转换和操作函数。 1. map函数 map函数是一种转换函数，它可以将一个RDD中每个元素通过一个用户定义的函数映射到另一个RDD中，并得到新的RDD。例如，将一个整型RDD中的每个元素都乘以2后得到一个新的整型RDD： ``` val rdd1 = sc.parallelize(Array(1, 2, 3, 4)) val rdd2 = rdd1.map(x => x*2) ``` 2. filter函数 filter函数也是一种转换函数，它可以根据用户定义的条件过滤一个RDD中的元素，并得到一个新的RDD。例如，将一个字符串RDD中长度大于5的元素过滤出来得到一个新的字符串RDD： ``` val rdd1 = sc.parallelize(Array("hello", "world", "spark", "rdd")) val rdd2 = rdd1.filter(x => x.length > 5) ``` 3. reduce函数 reduce函数是一种操作函数，它可以将一个RDD中的元素按照用户定义的函数进行聚合并得到一个结果。例如，将一个整型RDD中的所有元素相加得到一个整数结果： ``` val rdd1 = sc.parallelize(Array(1, 2, 3, 4)) val result = rdd1.reduce((x, y) => x + y) ``` 4. collect函数 collect函数也是一种操作函数，它可以将一个RDD中的所有元素收集起来并输出到Driver端。然而，使用collect函数需要注意RDD的大小，如果RDD很大，就可能会出现内存溢出的情况。例如，将一个整型RDD中的所有元素收集起来并输出到屏幕： ``` val rdd1 = sc.parallelize(Array(1, 2, 3, 4)) val result = rdd1.collect() result.foreach(println) ``` 5. saveAsTextFile函数 saveAsTextFile函数也是一种操作函数，它可以将一个RDD中的所有元素保存到指定的文本文件中。例如，将一个字符串RDD中的所有元素保存到hdfs的一个文本文件中： ``` val rdd1 = sc.parallelize(Array("hello", "world", "spark", "rdd")) rdd1.saveAsTextFile("hdfs://localhost:8020/user/abc/output") ``` 总之，Spark中的RDD转换和操作函数具有弹性、高效、简单等特点，能够满足各种大规模数据处理需求。需要特别注意的是，Spark中的函数式编程模型是基于JVM的，因此要充分利用内存和CPU资源，需要对集群配置和调优进行一定的优化和测试。 ### 回答3： Spark中的RDD（Resilient Distributed Datasets）是分布式的弹性数据集，它可以在大规模集群上并行化地计算，并且提供了一系列的转换和操作函数。其中，Spark提供的Spark函数简单易用，具有高效的数据处理能力，可以帮助开发者快速开发分布式应用程序。 RDD转换函数是将一个RDD转换成另一个RDD的函数，转换后的RDD通常包含了数据处理、筛选和过滤后的新数据集，可以用来接着进行后续的计算。 例如，map函数可以将RDD中的每个元素应用一个函数，然后返回一个新的转换过的RDD： ``` val originalData = sc.parallelize(List(1, 2, 3, 4, 5)) val mappedData = originalData.map(x => x * 2) ``` 这里，map函数将原始数据中的每个元素都乘上了2，返回了一个新的RDD。 除了map函数， 还有flatMap、filter、groupBy等常用的转换函数，都可以帮助我们对RDD做出各种各样的数据处理和转换。 RDD操作函数则是对RDD进行真正的计算操作，例如reduce、count、collect等函数，这些函数会触发Spark的分布式计算引擎执行真正的计算任务。 比如，reduce函数可以将RDD中的所有元素进行聚合，返回一个单一的结果： ``` val originalData = sc.parallelize(List(1, 2, 3, 4, 5)) val reducedData = originalData.reduce(_ + _) ``` 这里，reduce函数将原始数据中的所有元素进行相加操作，返回了一个整数类型的结果。 Spark提供的操作函数非常丰富，从基本的聚合、排序、统计操作，到高级的机器学习和图形处理等操作，开发者可以根据不同的业务需求灵活选择使用。 总之，Spark中的RDD转换和操作函数是分布式数据处理的核心之一，通过这些函数，开发者能够方便地对海量数据进行分布式的计算和处理。同时，Spark也提供了丰富的API和工具，便于开发者进行高效的Spark应用程序开发。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值