Spark部分：Spark中取交集（intersection ）和取差集（subtract ）【Java版纯代码】

最新推荐文章于 2022-10-25 21:33:55 发布
最新推荐文章于 2022-10-25 21:33:55 发布
阅读量6k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyqwilliam/article/details/81141735
版权 
package com.bjsxt.spark;

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

public class Inter {
    public static void main(String[] args) {
        SparkConf conf=new SparkConf().setAppName("test").setMaster("local");
        JavaSparkContext sc=new JavaSparkContext(conf);
        List<String> list1 = Arrays.asList("a","b","c","d");
        List<String> list2 = Arrays.asList("a","b","c","e");
        JavaRDD
最低0.47元/天 解锁文章
道法—自然
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark dataframe API 整理
ZhanYunQI的博客
04-27 4074
1，从列表中创建dataframe    列表的每一个元素转换成Row对象，利用parallelize()函数将列表转换成RDD，toDF()函数将RDD转换成dataframe    from pyspark.sql import Row    l=[Row(name='jack',age=10),Row(name='lucy',age=12)]    df=sc.parallelize
sparksql 求差集
QJ_Aivin的博客
04-21 1654
package test; import org.apache.spark.SparkConf; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; public class TestSparkSql { publ...
spark计算两个DataFrame的差集、交集、合集
helloxiaozhe的博客
01-24 6522
spark计算两个DataFrame的差集、交集、合集 闲话不说，直接上代码和结果 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.{SQLContext, SparkSession} /** * @class DataFrameFun * @author yyz * @date 2021/01/24 20:
Spark API 之subtract（差集）
qq_29499107的博客
02-11 4257
subtract差集函数存在三种我们主要针对第一种，常用的也是第一种，而其他两种是差集后的分区策略： def subtract(other: RDD[T]): RDD[T] def subtract(other: RDD[T], numPartitions: Int): RDD[T] def subtract(other: RDD[T], p: Partitioner): RDD[T] 案例：...
python 并集union, 交集intersection, 差集difference, 对称差集symmetric_difference
12-21
python 并集union, 交集intersection, 差集difference, 对称差集symmetric_difference a,b,c = [1,2,3],[2,3,4],[3,4,5] print('------>union') print('a,b取并集：',set(a).union(b)) print('a,b取并集：',set(a...
Linq两个List集合取交集的实现
08-25
在.NET框架中，LINQ（Language Integrated Query，语言集成查询）提供了一种优雅的方式来处理集合数据，包括查询、转换和过滤。当我们需要找到两个List集合的交集时，LINQ提供了一种简单而高效的方法。这里我们将...
C# 两个datatable中的数据快速比较返回交集 并集或差集
07-21
在C#编程中，DataTable是一种常用的结构，用于存储和操作数据，类似于数据库表格。当我们处理多个DataTable时，可能需要比较它们之间的数据，找出交集、并集或差集。这在数据分析、数据清洗或者数据库同步等场景中...
python集合比较(交集,并集,差集)方法详解
09-20
本文将深入探讨Python集合的交集、并集和差集操作。 首先，集合的创建通常使用`set()`函数，可以传入一个列表或其他可迭代对象来初始化。例如： ```python s = set([3, 5, 9, 10]) # 数值集合 t = set("Hello") # ...
Spark RDD的交差并集
stone_tomcate的博客
01-18 1561
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo01 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("stone").setMaster("local") val sc = new SparkContext(conf) sc.
Spark优化之在大数据环境判断两个列表是否有交集
smart_ferry的博客
09-24 842
Spark优化之在大数据环境判断两个列表是否有交集
spark做交集
wj1298250240的博客
12-15 248
spark做交集 去重 union 最简单的集合操作是 union(other)，它会返回一个包含两个 RDD 中所有元素的 RDD。 与数学中的 union() 操作不同的是，如果输入的 RDD 中有重复数据，Spark 的 union() 操作也会包含这些重复数据 （如有必要，我们可以通过 distinct() 实现相同的效果）。 distinct() 操作的开销很大，因为它需要将所有数据...
SparkRDD算子--subtract算子
寒暄的博客
08-01 799
语法 val newRdd = oldRdd1.subtract(oldRdd2) 源码 def subtract(other : org.apache.spark.rdd.RDD[T]) : org.apache.spark.rdd.RDD[T] = { /* compiled code */ } 作用 计算两个RDD的差集。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf,
Spark取交集的三种方式
渐宽阁读书小弟
04-07 1246
文章目录场景演练：几种方法：广播的方式joinunion用于做数据交集：“The last ace” 场景演练： 假设现有RddA和RddB用于根据其中某个元素取交集： RddA的数据量小于RddB val rddA: RDD[(String, (String, Int))] = sc.emptyRDD[(String, (String, Int))] val rddB: RDD[(String,...
Spark交集/差集/并集/拉链
QYHuiiQ
10-25 979
一定要注意，在Spark中使用zip时，必须是两个RDD中的元素个数相同才可以，否则报错。
Spark 算子之交集、并集、差集
congge_study的博客
04-23 1514
Spark 算子之交集、并集、差集
Spark双集合（RDD）之间的操作-差集，交集，合集，笛卡尔积等
梦里蓝天
09-28 2025
def main(args:Array[String]){ // 1. 创建 SparkConf对象, 并设置 App名字 val conf:SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount"); // 2. 创建SparkContext对象 val sc = new SparkContext(conf); // 3. 使用sc创建RD
spark 两个rdd求交集，差集，并集
热门推荐
bitcarmanlee的博客
11-24 3万+
1.前言spark中两个rdd，经常需要做交集，差集，并集等操作。好比任何一门编程语言中两个集合，交并差也是常见的需求。现在我们看看在spark中怎么实现两个rdd的这种操作。 为了方便看到结果，在spark shell中测试如下代码。先生成两个rddscala> val rdd1 = sc.parallelize(List("a", "b","c")) rdd1: org.apache.spar
【SparkAPI JAVA版】JavaPairRDD——collectAsMap（八）
菜鸟sdut的博客
03-19 834
JavaPairRDD的collectAsMap方法讲解 官方文档说明 /** * Return the key-value pairs in this RDD to the master as a Map. * * @note this method should only be used if the resulting data is expected to be smal...
java8两个List集合取交集、并集、差集、去重并集
最新发布
05-20
Java 8 中可以使用 Stream API 来实现集合之间的交集、并集、差集、去重并集。 假设有两个 List 集合：list1 和 list2，分别包含一些元素，代码如下： ```java List<Integer> list1 = Arrays.asList(1, 2, 3, 4, 5); List<Integer> list2 = Arrays.asList(4, 5, 6, 7, 8); ``` 下面分别介绍如何实现集合之间的操作。 1. 取交集 取交集即获取两个集合中共同拥有的元素。可以使用 Stream API 的 `filter()` 方法和 `contains()` 方法实现。代码如下： ```java List<Integer> intersection = list1.stream() .filter(list2::contains) .collect(Collectors.toList()); System.out.println("交集：" + intersection); // 输出 [4, 5] ``` 2. 取并集 取并集即获取两个集合中所有的元素，但是去重。可以使用 Stream API 的 `distinct()` 方法和 `concat()` 方法实现。代码如下： ```java List<Integer> union = Stream.concat(list1.stream(), list2.stream()) .distinct() .collect(Collectors.toList()); System.out.println("并集：" + union); // 输出 [1, 2, 3, 4, 5, 6, 7, 8] ``` 3. 取差集 取差集即获取两个集合中不同的元素。可以使用 Stream API 的 `filter()` 方法和 `!contains()` 方法实现。代码如下： ```java List<Integer> diff1 = list1.stream() .filter(e -> !list2.contains(e)) .collect(Collectors.toList()); System.out.println("差集1：" + diff1); // 输出 [1, 2, 3] List<Integer> diff2 = list2.stream() .filter(e -> !list1.contains(e)) .collect(Collectors.toList()); System.out.println("差集2：" + diff2); // 输出 [6, 7, 8] ``` 4. 去重并集 去重并集即获取两个集合中所有的元素，并且去重。可以使用 Stream API 的 `distinct()` 方法和 `flatMap()` 方法实现。代码如下： ```java List<Integer> distinctUnion = Stream.of(list1, list2) .flatMap(List::stream) .distinct() .collect(Collectors.toList()); System.out.println("去重并集：" + distinctUnion); // 输出 [1, 2, 3, 4, 5, 6, 7, 8] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值