Spark-RDD懒加载

最新推荐文章于 2024-05-14 05:07:37 发布
最新推荐文章于 2024-05-14 05:07:37 发布
阅读量4.8k 收藏 6
点赞数 3
分类专栏： # spark 文章标签： spark rdd 大数据 云计算 懒加载
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33982605/article/details/79831585
版权
Transformation 操作是延迟计算的，也就是说从一个 RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Acion 操作的时候才会真正触发运算。

Transformation返回的数据类型是一个RDD

Action 算子会触发 Spark 提交作业（Job），并将数据输出 Spark系统

Action返回的类型是一个其他的数据类型

详细解说:

    Transformation操作和Action操作的区别在于Spark计算RDD的方式不同。

    只有当代码中用Action操作时，spark才会进行计算否则是不会进行计算的，这种策略刚开 始看起来可能会显得很奇怪，不过在大数据领域中是很有道理的。比如我读取一个文件中的数据然后进行过滤，然后Action算子first取得第一行。

    如果spark在我们运行sc.textFile的时候就把文件中所有的读取并存储进来的话会消耗很多的存储空间，更不要说我们紧接着就要就行过滤操作了。

    相反，一旦Spark了解了，所有的Transformation算子以后(spark会在内部记录下所要求执行操作的相关信息)在Action算子first中，Spark只需要扫描文件直到找到第一个匹配的行为止，而并不需要读取整个文件


Recall-MK
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark的延迟执行再理解
qq_27639777的博客
04-16 1358
首先，大家可以猜测下如下代码的执行结果，是否会报错？ val df = Seq((0, "ben", "student"),(1, "jim", "teacher")).toDF("id", "name", "job") val df2 = df.select("id", "name") val df3 = df2.filter("job = 'teacher'") // 是否会报错？ df3....
Spark
baid000的博客
06-22 410
Spark基础
大数据之 Spark 中的 RDD
代妈炼金术师
01-22 430
转换操作如map、filter、flatMap、reduceByKey等用于改变RDD的结构或内容，而行动操作如count、collect、saveAsTextFile等会触发实际的计算并将结果返回给Driver或者写入外部存储系统。RDD 具有数据容错性，并且能够在集群中的各个节点上进行并行操作。在Spark中，RDD可以由Hadoop HDFS文件系统、Cassandra数据库、Amazon S3等外部存储系统的数据创建，也可以从驱动程序（Driver Program）中的集合直接创建。
2024年最全Spark面试题 精选 （附答案），写给程序员的大数据详细教程
2401_84181801的博客
05-14 922
RDD叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续地查询能够重用工作集，这极大地提升了查询速度。
Scala-懒加载
qq_15189171的博客
12-06 464
惰性函数 当函数返回值被声明为lazy时，函数的执行将被推迟，直到我们首次对此取值，该函 数才会执行。这种函数我们称之为惰性函数，在Java的某些框架代码中称之为懒加载 (延迟加载)。 package demos object LazyDemo01 { def sum(n1:Int,n2:Int): Int ={ println("Sum() is Working") return n1+n2 } def main(args:Array[String]): Unit ={
一步步学spark之一scala的懒加载机制（lazy）1.6
Angel、骷髅博客
05-23 6005
一步步学spark之一scala的懒加载机制（lazy） 1.6scala的懒加载机制（lazy） 如果我们声明一个变量或者常量的时候前面加上lazy 关键字，就是懒加载！ 懒加载就是我们在使用的时候 才会去加载，声明的时候不加载！ 首先定义一个常量 sum=10  回车后马上就显示出来了    但是当我们在加上lazy之后，sum还是整数Int类型，但是并没有为
playing-with-spark-rdd:Apache Spark RDD示例
03-21
1. **创建RDD**：RDD可以通过加载文件（如文本文件、CSV、JSON等）或者通过并行化现有集合（如Scala或Java的List）来创建。例如，`SparkContext.textFile()`函数用于从HDFS、本地文件系统或其他Hadoop支持的文件系统...
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
通过 `createRDD` 方法，我们可以从 HBase 表中加载数据到 RDD。这个方法需要提供 HBase 表的名称以及可选的过滤器，用于选择性地读取部分数据。 4. **写入 RDD 到 HBase** 要将 RDD 写入 HBase，我们需要先将 ...
spark-sdk.zip
03-20
接下来，可以使用`SparkContext`提供的方法加载数据，创建RDD，并对RDD进行转换和行动操作。 总结来说，Spark SDK是开发Spark应用的基础，它提供了丰富的工具和API，使开发者能够便捷地构建高性能的大数据处理应用...
spark-2.2.0源码
04-28
MLlib是Spark的机器学习库，2.2.0版本对其进行了大量优化，包括算法的性能提升和模型保存加载的改进。特别是梯度下降算法的优化，使得大规模机器学习任务的训练速度显著提高。 六、Spark Core Spark Core是Spark的...
Spark-shell批量命令执行脚本的方法
09-15
/bin/bash`指定使用bash解释器，然后通过`source /etc/profile`加载环境变量，确保Spark的相关路径是可用的。接着，使用`exec`命令启动`$SPARK_HOME/bin/spark-shell`，并传入一系列参数，例如队列名称、应用程序...
Spark-Spark的开发调优.pdf
最新发布
07-12
- **定义与背景**：在Spark应用程序中，开发者通常从原始数据源（如Hive表或HDFS文件）创建初始RDD，然后通过执行一系列转换操作（如`map`、`reduce`等）生成新的RDD。这些RDD之间形成了一条“血缘关系链”——RDD ...
Python数据科学速查表 - Spark RDD 基础1
08-03
加载数据通常涉及将数据转化为RDD。例如，`sc.parallelize()`函数用于创建RDD，如`rdd = sc.parallelize([('a',7),('a',2),('b',2)])`，它将列表转换为并行化的数据集。 接着，RDD的操作包括转换和行动。转换函数如...
Spark RDD 资料
01-31
这些操作通常是懒加载的，意味着它们并不会立即执行，直到遇到 Action 操作时才会触发实际的计算。 **常用 Transformation：** | 转换 | 含义 | |-----------|--------------------------------------------------...
scala学习之路：5.懒加载以及数组的操作
matiji66
03-10 633
import scala.io.Source object dt06_Lazy { def main(args: Array[String]): Unit = { // 懒加载 lazy val file = Source.fromFile("/Users/ycf/Desktop/traslate_h.txt") println("Scala")
sparkRDD操作，转换算子和行动算子
严同学在努力
03-30 488
Spark常用的RDD转换和行动算子
RDD——Action算子
JStana的博客
11-27 492
RDD——Action算子
sparkrdd加载csv
06-06
可以使用Spark的CSV数据源来加载CSV文件。首先，需要在代码中添加以下依赖： ```scala libraryDependencies += "com.databricks" % "spark-csv_2.11" % "1.5.0" ``` 然后，可以使用以下代码加载CSV文件： ```scala import org.apache.spark.sql.SQLContext val sqlContext = new SQLContext(sc) // sc 是 SparkContext 实例 val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("path/to/csv/file") ``` 其中，`path/to/csv/file` 是CSV文件的路径，`header` 和 `inferSchema` 分别指示是否使用文件中的第一行作为列名和是否自动推断列的数据类型。 加载完成后，可以使用Spark SQL的API对数据进行操作。 注意：对于Spark 2.x 及以上版本，官方提供了一个称为`spark-csv`的数据源，可以直接使用。用法与上述代码类似，但是需要将依赖的版本更新为2.x对应的版本号。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值