PySpark中DataFrame对象求交集

最新推荐文章于 2024-10-06 00:51:11 发布

追枫萨

最新推荐文章于 2024-10-06 00:51:11 发布

阅读量1k

点赞数

分类专栏： Spark 文章标签： pyspark DataFrame

本文链接：https://blog.csdn.net/m0_38052384/article/details/102774680

版权

本文介绍了在PySpark环境下，如何使用DataFrame对象进行数据交集操作。通过示例代码展示了读取csv文件，然后进行数据交集计算的过程，包括选择特定列进行交集计算的方法，并给出了详细的运行结果。

摘要由CSDN通过智能技术生成

环境：

ubuntu14+spark2.3.3+pycharm+scala2.11

启动spark：

/spark/sbin/start-all.sh

test.csv文件内容：

测试代码：

# python3
# -*- coding:utf-8 -*-
# @Time: 10/28/19 2:10 AM
# @Author: Damon
# @Software: PyCharm


from pyspark.sql import SparkSession,functions
import time,datetime

spark = SparkSession.builder.appName("validFieldsCount").master("local[*]").getOrCreate()
spark.sparkContext.setLogLevel("WARN")
#header=0->代表原始csv文件有列名，header=None->原始csv文件无列名
df=spark.read.csv("file:///home/hadoop/PycharmProjects/WordCount/src/traffice_early_warning/test.csv")

df1=df
df2=df

df3=df1.intersect(df2)
print(df3.show())