【Spark】Spark RDD操作、转化操作和行动操作

最新推荐文章于 2023-03-30 16:40:43 发布
最新推荐文章于 2023-03-30 16:40:43 发布
阅读量335 收藏
点赞数
分类专栏： Spark 大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014028317/article/details/102887160
版权
本文详细介绍了Spark中的RDD操作，包括如何创建RDD，重点讲解了转化操作（如map, flatMap, filter等）和行动操作（如collect, reduce, saveAsTextFile等）。转化操作是惰性的，仅在执行行动操作时实际计算。RDD的lineage记录了所有转化步骤，而行动操作则将结果返回或存储到外部系统。" 125376314,7371989,ThingsBoard教程：计算室内室外温度差,"['物联网', 'ThingsBoard', '规则引擎', '设备模拟', '数据处理']
摘要由CSDN通过智能技术生成

一、创建RDD

1、外部数据集（external datasets）

var rdd = sc.textFile("hdfs://hadoop-senior.ibeifeng.com:8020/user/root/mapreduce/wordcount/input/wc.input")
rdd.collect
res6: Array[String] = Array(hadoop hive, hive hadoop, hbase sqoop, hbase sqoop, hadoop hive)
rdd.map(s => s.length).reduce((x, y) => (x + y))
res9: Int = 55

2、并行化数据集（parallelized collections）

scala> val datas = Array(1, 2, 3, 4, 5, 6)
datas: Array[Int] = Array(1, 2, 3, 4, 5, 6)

scala> val arrRdd = sc.parallelize(datas)
arrRdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[6] at parallelize at <console>:23
scala> arrRdd.map(num => num * num).collect
res5: Array[Int] = Array(1, 4, 9, 16, 25, 36)

二、转化操作

转化操作（transformations），创建一个新的数据集RDD；lazy懒

最低0.47元/天 解锁文章
晚风中的自由
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark学习--RDD编码
05-09
对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作 函数名 目的 示例 结果 union() 生成一个包含两个RDD 中所有元素的RDD rdd.union(other) {1, 2, 3, 3, 4, 5} intersection() 求两个RDD 共同的元素的RDD rdd....
RDD常用操作，及结果展示
weixin_46227398的博客
06-17 3577
首先简单介绍一下，HDFS的相关操作： 1、在HDFS上创建文件夹 hdfs dfs -mkdir /path 2、将本地文件拷贝到HDFS上 hdfs dfs -copyFromLocal local_file /dstpath hdfs dfs -put local_file /dstpath 3、将HDFS上的文件拷贝到本地 hdfs dfs -copyToLocal /dstpath local_path hdfs dfs -get /dstpath l
Spark操作——行动操作(一)
YF_Li123的博客
05-23 803
集合标量行动操作 存储行动操作 集合标量行动操作 first(): T 返回RDD中的第一个元素，不进行排序 count(): Long 返回RDD中的元素个数 reduce(f:(T, T) => T): T 根据映射函数f，对元素进行二元计算 collect(): Array[T] 将RDD转换为数组 take(num: Int)： Array[T] 获取RDD中下标从0—num-1的元素，不进行排序 ...
spark 常用转换和行动操作
xiaoruirui1294的博客
10-17 3087
1、转换操作： 任意数据类型的RDD. map()：接收一个函数,并将函数用于RDD中的每一个元素，将函数返回结果作为RDD中对应的元素值。返回类型不需要和输入类型一样。 如：url集合中每个对应url的主机名输出。 filter()：接收一个函数，并将RDD中满足该函数的元素放入新的RDD中。如输入string，输出double类型。 flatmap():每个输入元素，生成多个输出元素。 返回一个返回值序列的迭代器，不是由迭代器组成而是一个包含各个迭代器可访问的所有元素的RDD.如：把输入的字
spark 常见的转化操作和行动操作
BD_fuhong的博客
06-23 1097
一、基本RDD 1、转化操作 （1）map（）、flatMap()、filter() scala> val line = sc.textFile("/Users/Desktop/log.txt") line: org.apache.spark.rdd.RDD[String] = /Users/qanfuhong/Desktop/log.txt MapPartitionsRDD[1] ...
Spark RDD基础(二)之常见的转化操作和行动操作及持久化
光与热的博客
08-27 3281
1.基本RDD操作1.1元素转化操作map() map接受一个函数，把这个函数用于RDD的每个元素，将函数的返回结果作为结果RDD中对应元素的值，map的返回值类型不需要和输入类型一样#计算RDD中各值的平方 nums=sc.parallelize([1,2,3,4]) squared=nums.map(lambda x:x*x).collect() for num in squared:
Spark快速大数据分析——第四章键值对操作——两个Pair RDD的转化操作
01-07
键值对 两个Pair RDD 转化操作 val conf = new SparkConf().setMaster(local).setAppName(PairRDD) val sc = new SparkContext(conf) val lines = sc.parallelize(List((1, 2), (3, 4), (3, 6))) val lines_1 = ...
Spark的灵魂：RDD和DataSet
06-29
本课重点讲解Spark 的灵魂RDD 和DataSet。讲解RDD 的定义、五大特性剖析及DataSet的定义和内部机制剖析；对RDD 弹性特性七个方面进行解析；讲解RDD 依赖关系，包括窄依赖、宽依赖； 解析Spark 中DAG 逻辑视图；对RDD...
Spark SQL操作大全.zip
03-24
它们都支持SQL查询，并且在执行时会被转化为Spark的RDD进行运算。 3. **Spark SQL的基本操作** - **创建DataFrame**：可以通过JSON、Parquet、CSV等格式的文件或者Hive表创建DataFrame。 - **注册DataFrame为临时...
Spark RDD.docx
03-29
- **转化操作（Transformation）**：如 `map`、`filter`、`flatMap`、`reduceByKey` 等，它们创建新的 RDD，但不立即执行计算，而是等到触发行动操作时才执行。 - **行动操作（Action）**：如 `collect`、`count`、`...
Spark基础转换及行动操作（python实验）
蜗牛up
03-05 1415
注意：实验前先引入包from pyspark.context import SparkContext ，还需配置 sc = SparkContext('local', 'test') ，然后才能用sc做操作。一、常见的转换操作1、map() : 将函数应用于RDD中的每个元素，将返回值构成新的RDD2、flatMap() ：将函数应用于RDD 中的每个元素，将返回的迭代器的所有内容构成新的RDD。...
Spark自学之路（五）—— RDD常见的转化操作和行动操作
Aaron
11-19 979
基本的RDD 1：针对各个元素的转化操作 最常用的map()和filter()：map()函数接收一个函数，把这个函数用于RDD的每个元素，将函数的返回结果作为结果RDD中对应元素的值。filter()接收一个函数，并将RDD中满足该函数的元素放入新的RDD中返回。 计算RDD中各值的平方 from pyspark import SparkContext sc = SparkContex...
大数据应用技术实验报告七 Spark
Ruthless_Childe的博客
05-25 2681
Spark好在哪里？ Spark的中间数据放到内存中，对于迭代运算效率更高。 Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。 Spark比Hadoop更通用 Spark提供的数据集操作类型有很多 ①Transformations转换操作：map, filter, flatMap, sample, groupByKey, reduceByKey, uni...
Spark核心类：弹性分布式数据集RDD及其转换和操作pyspark.RDD
皮皮blog
11-21 8691
http://blog.csdn.net/pipisorry/article/details/53257188弹性分布式数据集RDD(Resilient Distributed Dataset)创建RDD并行集合 (Parallelized collections)RDD可从现有的集合创建。比如在Scala shell中:val collection = List("a", "b", "c", "
spark编程基础python版实验报告_Spark2.1.0+入门：RDD编程(Python版)
weixin_39525865的博客
12-15 1081
通过前面几章的介绍，我们已经了解了Spark的运行架构和RDD设计与运行原理，并介绍了RDD操作的两种类型：转换操作和行动操作。同时，我们前面通过一个简单的WordCount实例，也大概介绍了RDD的几种简单操作。现在我们介绍更多关于RDD编程的内容。Spark中针对RDD的操作包括创建RDD、RDD转换操作和RDD行动操作。RDD创建RDD可以通过两种方式创建：* 第一种：读取一个外部数据集。比...
sparkRDD操作，转换算子和行动算子
严同学在努力
03-30 499
Spark常用的RDD转换和行动算子
详解 Spark RDD 的转换操作与行动操作
weixin_43958974的博客
01-07 5443
前言 本期继续讲解 Spark 核心 RDD 编程部分，内容比较干货也比较长，建议大家先收藏。 学习目标 RDD 的创建 RDD 的转换操作 RDD 的行动操作 惰性求值 1. RDD 的创建 Spark 提供了两种创建 RDD 的方式：对一个集合进行并行化操作和利用外部数据集生成 RDD 。 对一个集合进行并行化操作 Spark 创建 RDD 最简单的方式就是把已经存在的集合传给 parallelize() 方法，不过，这种方式在开发中并不常用，毕竟需要将整个的数据集先放到一个节点.
Spark笔记：RDD基本操作（上）
weixin_34037173的博客
05-18 695
　　本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家可以就把RDD当作一个数组，这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用scala语言编写的。 　　Spark里的计算都是操作RDD进行，那么学习RDD的第一个问题就是如何构建RD...
spark转化操作
CarveStone的博客
01-28 931
也就是说，整个转换过程只是记录了转换的轨迹， 并不会发生真正的计算，只有遇到 Action 操作时，才会发生真正的计算，开始从血 缘关系（lineage）源头开始，进行物理的转换操作；由于spark的惰性计算特性，RDD只有在第一次行动操作中被用到时才会真正进行计算，因此我打算将文章内容分为"转化操作"和"行动操作"两部分，同时因为pair RDD（RDD中的元素是键值对）的部分api较为特殊。相当于集合运算的并集，生成一个包含两个RDD中所有元素的RDD，要求两个RDD的元素类型相同。
列举spark常见的转化操作和行动操作
最新发布
06-10
Spark中，常见的转化操作包括： 1. map(func)：对RDD中的每个元素应用一个函数，返回一个新的RDD。 2. filter(func)：对RDD中的每个元素应用一个函数，返回一个新的RDD，其中包含满足条件的元素。 3. flatMap...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值