spark Java map算子和maptopair算子的使用

map算子 会出现一对一的结果

将函数应用于 RDD 中的每个元素,将返回值构成新的 RDD

直接上到代码

ArrayList<Integer> list = new ArrayList<Integer>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(3);

        JavaRDD<Integer> parallelize = sc.parallelize(list);
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark中的`map`和`flatMap`是两种常用的转换操作,它们的底层原理有所不同。 `map`算子的底层原理如下: 1. 当调用`map`算子时,Spark会将这个操作添加到RDD的转换操作序列中,并记录下这个转换操作。 2. 当遇到一个Action算子时,Spark会根据RDD的依赖关系和转换操作序列,构建一个执行计划(DAG)。 3. 在执行计划中,Spark会将每个分区的数据通过转换函数进行映射,生成一个新的RDD。这个映射函数可以是用户自定义的函数,也可以是Lambda表达式。 4. 最后,Spark将生成的新RDD返回给驱动器程序或写入外部存储系统。 而`flatMap`算子的底层原理与`map`有些不同: 1. `flatMap`算子首先会对每个输入元素应用一个函数,这个函数的返回值可以是多个元素组成的序列。 2. 然后,`flatMap`算子会将所有生成的元素展平成一个新的RDD。 3. 具体地说,`flatMap`算子会将每个输入元素与其生成的元素一起组合,并形成一个新的RDD。 这里是一个示例代码,展示了`map`和`flatMap`算子使用和底层原理: ```python # 创建一个包含字符串的RDD rdd = sc.parallelize(["Hello world", "Spark is great"]) # 使用map算子对每个字符串进行单词拆分 mapped_rdd = rdd.map(lambda x: x.split(" ")) # 使用flatMap算子对每个字符串进行单词拆分,并展平成一个新的RDD flattened_rdd = rdd.flatMap(lambda x: x.split(" ")) # 输出map算子的结果 print(mapped_rdd.collect()) # 输出: [['Hello', 'world'], ['Spark', 'is', 'great']] # 输出flatMap算子的结果 print(flattened_rdd.collect()) # 输出: ['Hello', 'world', 'Spark', 'is', 'great'] ``` 在上面的示例中,我们首先创建了一个包含字符串的RDD,然后使用`map`算子和`flatMap`算子对每个字符串进行单词拆分。`map`算子生成了一个包含列表的RDD,而`flatMap`算子生成了一个展平后的RDD。最后,我们分别打印了这两个RDD的结果。 总结起来,`map`算子和`flatMap`算子在底层的实现上有一些差别,主要体现在对元素的处理方式和生成新RDD的方式上。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值