pyspark之数据处理学习【数据去重】(1)

最新推荐文章于 2024-05-13 13:51:55 发布

清萝卜头

最新推荐文章于 2024-05-13 13:51:55 发布

阅读量6.3k

点赞数

分类专栏： spark 文章标签： pyspark

本文链接：https://blog.csdn.net/xiaoql520/article/details/78774581

版权

1.重复数据

例如

spark = SparkSession.builder.appName("dataDeal").getOrCreate()
df = spark.createDataFrame([
    (1, 144.5, 5.9, 33, 'M'),
    (2, 167.2, 5.4, 45, 'M'),
    (3, 124.1, 5.2, 23, 'F'),
    (4, 144.5, 5.9, 33, 'M'),
    (5,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

清萝卜头

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
pyspark之数据处理学习【数据去重】(1)

1.重复数据例如spark = SparkSession.builder.appName("dataDeal").getOrCreate()df = spark.createDataFrame([ (1, 144.5, 5.9, 33, 'M'), (2, 167.2, 5.4, 45, 'M'), (3, 124.1, 5.2, 23, 'F'),
复制链接

扫一扫