map与flatMap的区别

最新推荐文章于 2024-08-26 09:56:52 发布
最新推荐文章于 2024-08-26 09:56:52 发布
阅读量1k 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34341930/article/details/89844770
版权

spark的转换算子中map和flatMap都十分常见，要了解清楚它们的区别，我们必须弄懂每执行一次的数据结构是什么。

 

这里我们先准备一组数据

hello    spark    hadoop
jeff    ruoze    spark 
hi    spark    hello

启动spark之后，读取这个文件

将一行行按照制表符进行分割

对分割好的RDD进行map操作（注意：此时的RDD数据类型以及转换成Array【String】字符串数组）

进行了Map操作后的RDD数据类型已经变换成（Array【String】，Int）的tuple类型了

 

 

对同样是刚刚textFile的RDD：String，进行flatMap的制表符切割

此时的数组中纯粹封装的就是数组了，并没有像Map操作一样数组中装着数组

再对这个flatMap（RDD）进行map的封装

总结可得：flatMap是针对原有的基础之上，将Map又继续压扁了

FangStar8Jeff
关注
专栏目录
JavaScript 数组之flat和flatMap
weixin_54012475的博客
04-21 628
文章目录flatflatMap flat flat 方法会按照一个指定的深度递归遍历数组，并将所有元素与遍历到的子数组中的元素合并为一个新数组返回 语法：arr.flat([depth]) depth：（可选）指定要提取嵌套数组的结构深度，默认值为1 返回值：一个包含将数组与子数组中所有元素的新数组 const arr = [1, 2, [3, 4]] arr.flat() // [1, 2, 3, 4] const arr1 = [1, 2, [3, 4, [5, 6]]] arr1.flat()
java flatmap_Java8 flatMap和map的区别
weixin_39923137的博客
02-12 1643
背景map和flatmap，从字面意思或者官网介绍，可能会给一些人在理解上造成困扰【包括本人】，所以今天专门花时间来分析，现整理如下：首先做一下名词解释------------------------------------------------我的理解map：map方法返回的是一个object，map将流中的当前元素替换为此返回值；flatMap：flatMap方法返回的是一个stream，f...
深入浅出Reactor中的flatMap操作符
最新发布
m0_62153576的博客
08-26 367
flatMap是一个功能丰富且灵活的操作符，它在处理复杂的异步数据流时显得尤为重要。理解其不同的参数和行为可以帮助我们更好地构建响应式应用程序。希望本文能够帮助你更深入地理解flatMap，并在你的项目中有效地使用它。
map 和 flatMap 的区别
即使再小的帆也能远航，加油~
02-08 3万+
当我们需要将具有层级结构的数据展平时，也就是将多层数据转换为单层数据操作时，我们可以使用 flatMap 方法。如果我们只是简单的对流中的数据计算或者转换时，可以使用 map方法。举例：① 使用 flatMap：[a，b，c，d，[e，f [g，h，i]]] 转换为 [a，b，c，d，e，f，g，h，i]② 使用 map: [1，2，3，4，5，6] 转换为 [11，12，13，14，15，16]③ 使用 map: [a，b，c] 转换为 [A，B，C]
flatMap 和 Map区别
weixin_44280356的博客
11-02 2190
map map算子对一个DataStream中的每个元素使用用户自定义的map函数进行处理，每个输入元素对应一个输出元素，最终整个数据流被转换成一个新的DataStream。输出的数据流DataStream[OUT]类型可能和输入的数据流DataStream[IN]不同。 flatMap flatMap算子和map有些相似，输入都是数据流中的每个元素，与之不同的是...
Map和FlatMap的相同点和区别
qq_41904106的博客
09-23 3534
首先，我们看一下map， map是集合接口Iterable的一个扩展函数，它有两个泛型 T和R， T是集合接口容器包裹的元素数据类型，以上面的例子就是List, R 是lambda表达式的返回类型，也是map操作后所得到的集合容器装载元素的数据类型，以上面的例子。flatMap也是一样的，是集合接口Iterable的一个扩展函数，操作符需要传入一个lambda表达式，不同的是这个lambda表达式的返回值是一个 集合接口类型（list， set等）。
浅析scala中map与flatMap的区别
08-25
Scala 中 map 与 flatMap 的区别 在 Scala 中，map 和 flatMap 是两个非常重要的函数，它们都是函数式编程中的核心概念。虽然它们都可以将一个函数应用于集合中的每个元素，但是它们之间存在着很大的区别。 首先，...
map与flatmap区别
03-07
map 和 flatMap 都是函数式编程中常用的操作符，它们的主要区别在于它们的返回值类型不同。map 操作符将一个元素映射为另一个元素，返回一个新的元素，而 flatMap 操作符将一个元素映射为一个集合，然后将这个集合中...
Reactor3 Map 与 FlatMap的区别
Weison
07-05 1万+
Reactor3 Map 与 FlatMap的区别
java8中的map与flatmap
热门推荐
Jack 架构师之路
12-06 5万+
问题 假如我们有这样一个需求给定单词列表["Hello","World"]，你想要返回列表["H","e","l", "o","W","r","d"],如果我们使用java实现这个需求，你会怎么实现呢？可能我们第一个想法是下面这种写法： words.stream() .map(word -> word.split("")) .distinct() .collect(toList()); 但是如果我们运行会发现这样的写法是不正确的，这个方法的问题在于，传递给map方法的Lambda为每个单词返回
map 和 flatMap 在反应式Reactor中的区别 - map VS flatMap
alexdyysp的博客
08-20 1449
一、同步非同步方法的区别 map 用于同步非阻塞的一对一转换 flatMap 适用于异步非阻塞的1到N转换 这两个区别在方法签名中可以发现： 英文原版： map takes a Function<T, U> and returns a Flux flatMap takes a Function<T, Publisher> and returns a Flux 中文译文： map 接受Function <T，U>并返回Flux flatMap 接受Functi
map与flatmap的区别
weixin_41117318的博客
01-11 1万+
1.map与flatmap的区别： map对列表中的每个元素应用一个函数，返回应用后的元素所组成的列表。 flatMap是一种常用的组合子，结合映射[mapping]和扁平化[flattening]。 flatMap需要一个处理嵌套列表的函数，然后将结果串连起来。 flatmap: 2.join    Join：Join类似于SQL的inner join操作，返回结果是前面...
flatMap和map的区别
Z_Data的博客
02-23 1395
map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。 map的作用是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；而flatMap函数则是两个操作的集合——正是“先映射后扁平化”...
map和flatMap的区别
CharlesCFA的博客
03-02 2211
map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd，他通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”： 例子1： object MapAndFlatMap { def main(args: Array[String]): Unit = { val r
map 和 flatMap 区别
小单的博客专栏
05-05 2万+
区别 这两个在本质上是一样的，都是 map 操作，即对流形式的传入数据进行处理返回一个数据。但是区别方面从字面上就可以体现出来，flatMap 比 map 多了一个 flat 操作，也就是 “展平/扁平化” 处理的意思。 所以 flatMap 是一个 map 和一个 flat 操作的组合。其首先将一个函数应用于元素，然后将其展平，当你需要将 [[a,b,c],[d,e,f],[x,y,z]] 具有两个级别的数据结构转换为 [a,b,c,d,e,f,x,y,z] 这样单层的数据结构时，就选择使用 flatMa
Spark中flatMap 和 map的区别
徐磊的博客
04-03 379
private val value1: RDD[Array[String]] = value.map(_.split(",")) # flatMap 简而言之flatMap起到的作用就是压缩的，吧以 逗号切割之后的，又重新弄到一块 private val value2: RDD[String] = value.flatMap(_.split(",")) ...
map和flatmap
njtuzhang的专栏
08-17 1293
map: 对数据做转换，转换后的类型，会在subscribe里面使用。如果转换后的是个observable类型，怎么办？ Observable.just("1").map(new Func1() {     @Override     public String[] call(String s) {         return new String[]{"2","3"};     }
【spark】flatmap 跟 map 的区别
sowhat
10-16 1160
背景 map和flatmap扁平化调用，从字面意思或者官网介绍，可能会给一些人在理解上造成困扰【包括本人】，所以今天专门花时间来分析，现整理如下： 首先做一下名词解释------------------------------------------------ 我的理解 map：map方法返回的是一个object，map将流中的当前元素替换为此返回值； flatMap：flatMap方...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值