pyspark学习系列（四）数据清洗

最新推荐文章于 2024-01-25 01:53:56 发布
最新推荐文章于 2024-01-25 01:53:56 发布
阅读量4.3k 收藏 19
点赞数
分类专栏： spark python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36603091/article/details/79855578
版权 
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession 
from pyspark.sql import SQLContext
from pyspark.sql.types import *
spark=SparkSession.builder.appName("lz").getOrCreate()  
sc = SparkContext.getOrCreate()

#检查重复项、缺失值和异常值
 df = spark.createDataFrame([
... (1,144.5,5.9,33,'M'),
... (2,167.2,5.4,45,'M'),
... (3,124.1,5.2,23,'F'),
... (4,144.5,5.9,33,'M'),
... (5,133.2,5.7,54,'F'),
... (3,124.1,5.2,23,'F'),
... (5,129.2,5.3,42,'M'),
... ],['id','weight','height','age','gender'])

print('count of rows: {0}'.format(df.count()))
count of rows: 7
#用.distinct()方法检查
print('count of distinct rows: {0}'.format(df.distinct().count()))
count of distinct rows: 6

df = df.dropDuplicates()#去重 默认根据第一列去除完全重复的行

df.show()
+---+------+------+---+------+
| id|weight|height|age|gender|
+---+------+------+---+------+
|  5| 133.2|   5.7| 54|     F|
|  5| 129.2|   5.3| 42|     M|
|  1| 144.5|   5.9| 33|     M|
|  4| 144.5|   5.9| 33|     M|
|  2| 167.2|   5.4| 45|     M|
|  3| 124.1|   5.2| 23|     F|
+---+------+------+---+------+


print ('count of ids: {0}'.format(df.count()))
count of ids: 6

print('count of distinct ids: {0}'.format(df.select([c for c in df.columns if c!='id']).distinct().count()))
count of distinct ids: 5

df = df.dropDuplicates(subset = [c for c in df.columns if c!='id'])#使用ID列以外的列再次去重。

df.show()
+---+------+------+---+------+
| id|weight|height|age|gender|
+---+------+------+---+------+
|  5| 133.2|   5.7| 54|     F|
|  1| 144.5|   5.9| 33|     M|
|  2| 167.2|   5.4| 45|     M|
|  3| 124.1|   5.2| 23|     F|
|  5| 129.2|   5.3| 42|     M|
+---+------+------+---+------+


import pyspark.sql.functions as fn
#现在我们知道没有完整的行重复，或任何相同的行只有ID不同，我们来检查是否有重复的ID。 
#要在一步中计算ID的总数和不同数量，我们可以使用.agg（…）方法
df.agg(fn.count('id').alias('count'),
... fn.countDistinct('id').alias('distinct')).show()
+-----+--------+
|count|distinct|
+-----+--------+
|    5|       4|
+-----+--------+

#使用 fn.monotonically_increasing_id() 方法重新分配ID。
df.withColumn('new_id',fn.monotonically_increasing_id()).show()
+---+------+------+---+------+-------------+
| id|weight|height|age|gender|       new_id|
+---+------+------+---+------+-------------+
|  5| 133.2|   5.7| 54|     F|  25769803776|
|  1| 144.5|   5.9| 33|     M| 171798691840|
|  2| 167.2|   5.4| 45|     M| 592705486848|
|  3| 124.1|   5.2| 23|     F|1236950581248|
|  5| 129.2|   5.3| 42|     M|1365799600128|
+---+------+------+---+------+-------------+


df_miss = spark.createDataFrame([
... (1,143.5,5.6,28,'M',100000),
... (2,167.2,5.4,45,'M',None),
... (3,None,5.2,None,None,None),
... (4,144.5,5.9,33,'M',None),
... (5,133.2,5.7,54,'F',None),
... (6,124.1,5.2,None,'F',None)],
... ['id','weight','height','age','gender','income'])
#删除'income'列
df_miss_no_income=df_miss.select([c for c in df_miss.columns if c!='income'])
#注意观察thresh这个参数的含义
#注意观察thresh这个参数的含义 每行非空数据的阀值。只要非空数据的数量低于这个阀值，则删除该行
df_miss_no_income.dropna(thresh=3).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=2).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=1).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=4).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=5).show()
+---+------+------+---+------+
| id|weight|height|age|gender|
+---+------+------+---+------+
|  1| 143.5|   5.6| 28|     M|
|  2| 167.2|   5.4| 45|     M|
|  4| 144.5|   5.9| 33|     M|
|  5| 133.2|   5.7| 54|     F|
+---+------+------+---+------+


df_miss_no_income.dropna(thresh=6).show()
+---+------+------+---+------+
| id|weight|height|age|gender|
+---+------+------+---+------+
+---+------+------+---+------+


df_miss_no_income.dropna(thresh=0).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh>3).show()
Traceback (most recent call last):

  File "<ipython-input-40-60394ae64986>", line 1, in <module>
    df_miss_no_income.dropna(thresh>3).show()

NameError: name 'thresh' is not defined


df_miss_no_income.show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=2).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=3).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=1).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=0).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=2).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=3).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss_no_income.dropna(thresh=1).show()
+---+------+------+----+------+
| id|weight|height| age|gender|
+---+------+------+----+------+
|  1| 143.5|   5.6|  28|     M|
|  2| 167.2|   5.4|  45|     M|
|  3|  null|   5.2|null|  null|
|  4| 144.5|   5.9|  33|     M|
|  5| 133.2|   5.7|  54|     F|
|  6| 124.1|   5.2|null|     F|
+---+------+------+----+------+


df_miss.dropna(thresh=2).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=3).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=1).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna().show()
+---+------+------+---+------+------+
| id|weight|height|age|gender|income|
+---+------+------+---+------+------+
|  1| 143.5|   5.6| 28|     M|100000|
+---+------+------+---+------+------+


df_miss.dropna().show()
+---+------+------+---+------+------+
| id|weight|height|age|gender|income|
+---+------+------+---+------+------+
|  1| 143.5|   5.6| 28|     M|100000|
+---+------+------+---+------+------+


df_miss.dropna(thresh=0).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=1).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=2).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  3|  null|   5.2|null|  null|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=3).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=4).show()
+---+------+------+----+------+------+
| id|weight|height| age|gender|income|
+---+------+------+----+------+------+
|  1| 143.5|   5.6|  28|     M|100000|
|  2| 167.2|   5.4|  45|     M|  null|
|  4| 144.5|   5.9|  33|     M|  null|
|  5| 133.2|   5.7|  54|     F|  null|
|  6| 124.1|   5.2|null|     F|  null|
+---+------+------+----+------+------+


df_miss.dropna(thresh=5).show()
+---+------+------+---+------+------+
| id|weight|height|age|gender|income|
+---+------+------+---+------+------+
|  1| 143.5|   5.6| 28|     M|100000|
|  2| 167.2|   5.4| 45|     M|  null|
|  4| 144.5|   5.9| 33|     M|  null|
|  5| 133.2|   5.7| 54|     F|  null|
+---+------+------+---+------+------+


df_miss.dropna(thresh=6).show()
+---+------+------+---+------+------+
| id|weight|height|age|gender|income|
+---+------+------+---+------+------+
|  1| 143.5|   5.6| 28|     M|100000|
+---+------+------+---+------+------+

仙人掌_lz
关注
  • 0
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PySpark大数据处理及机器学习Spark2.3课程
05-30
给大家分享一套课程——PySpark大数据处理及机器学习Spark2.3，完整版视频课程下载。提供课件、源码。 本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。
PySpark大数据处理及机器学习Spark2.3
11-10
PySpark大数据处理及机器学习Spark2.3视频教程，本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。
学习Spark的数据清洗与预处理
最新发布
禅与计算机程序设计艺术
01-25 787
1.背景介绍 数据清洗和预处理是数据科学和机器学习的基础，它们有助于提高模型的准确性和性能。在大数据领域，Apache Spark是一个流行的分布式计算框架，它可以处理大量数据并提供高性能的数据处理能力。在本文中，我们将探讨如何使用Spark进行数据清洗和预处理。 1. 背景介绍 数据清洗和预处理是指对原始数据进行清理、转换和准备，以便于后续的数据分析和机器学习任务。数据清洗包括删除冗余数据...
PySpark大数据处理及机器学习Spark2.3视频教程
11-24
PySpark大数据处理及机器学习Spark2.3视频教程，本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。
pyspark 数据处理样例数据
06-14
pyspark 数据处理样例数据
初学Spark
zhiguo98的博客
03-05 328
这篇博客是记录自己开启大数据学习之旅的开端，这是自己从来没有踏入过的领域，之前都是在利用java做一些小系统，增删改查，或者利用Java做一些APP，不过经过一位老师的指导，自己开始慢慢的接触大数据。都说万事开头难，的确，我在搭建Spark单机环境的时候，遇到了各种各样的错误，从昨天下午到现在，我终于搞好了，中间甚至有了挫败感，但是最终还是搭建好了，回头看来，都是小错误，自己没有细心。 大数据的课程还是推荐厦门大学林子雨的，我就是一点点开始学的。Spark的概述和框架就不说了，因为牵涉到具体的原理，我也不
PySpark学习笔记（7）——数据清洗
FlySky1991的专栏
07-27 3258
在正式建模之前，数据清洗和特征工程是必不可少的准备工作。其中，数据清洗是将杂乱的原始数据规整化的过程，本文主要介绍数据清洗中的一些小技巧： 1.正则表达式概述 正则表达式是对字符串操作的一种逻辑公式，是事先定义好的一些特定字符及这些特定字符的组合，这个组合可以用来表达对字符串的一种过滤逻辑。在实际数据清洗过程中，如果遇到特别杂乱的脏数据，可以通过多次使用正则表达式来实现无关信息的过滤和有用信息...
解决使用Pyspark进行读取HDFS上的文件时的报错
zh_19995的博客
11-12 415
求人不如求己。无论学习还是生活，在遇到Bug和问题的时候，我们总是习惯的去寻找帮助，却少有静下心来，自己尝试去解决。比如，我写代码遇到问题总是第一时间百度，却少有去分析报错原因，只想着赶紧解决这个Bug。但今天来看，网上的文章几乎抄来抄去（当然高质量的文章仍然不少），不如自己去认真反思一下Bug或者问题的原因来一步步的去思考，去尝试，最终解决。独立解决问题的能力十分重要！学习不能一味一知半解。有时候，你可能会觉得你在课堂上或书本上学到的知识无法应用到实际项目中。
Spark中数据预处理和清洗的高级方法(Python)
Wxh_bai的博客
04-03 589
1. 窗口函数 2. UDF 3. 聚合函数 4. 多表联接
使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
kilig_CSM的博客
12-20 1493
PySpark 是 Apache Spark 的 Python API，可用于处理大规模数据集。它提供了丰富的功能和库，使得数据清洗和转换变得更加高效和便捷。本文介绍了使用 PySpark 对数据进行清洗和 JSON 格式转换的过程。通过上述步骤，我们可以连接到远程 Spark 服务器，加载数据，应用自定义函数对数据进行清洗和格式转换，并最终保存清洗后的数据。这个流程展示了 PySpark 在数据处理中的强大功能，特别是在大规模数据集的处理和转换方面的优势。
PySpark入门十：数据清洗之去重
默默经营自己的小世界
09-04 2819
去重 首先构建学习数据 # 导包 from pyspark import SparkContext from pyspark.sql.session import SparkSession # 创建连接 sc = SparkContext.getOrCreate() spark = SparkSession(sc) # 生成数据 df = spark.createDataFrame([ (1, 144.5, 5.9, 33, 'M'), (2, 167.2, 5.4, 45, 'M'),
大数据处理技术网页数据清洗及分词
09-18
1. 在jar包执行时，会出现ansj中的类找不到的错误，解决方法是将ansj和nlp两个包上传到hadoop节点上，然后运行程序的执行命令时加上jar包就可以了。 2. 重复运行程序的时候因为之前生成结果文件但是没有删掉，运行程序的时候出现文件已存在所以无法建立新的文件。 3. 运行时会存在classNotFound的错误，因为包名和类名错误，所以运行时的命令要把包名类名等都写对。 4. Linux上查看结果文件的时候中文是乱码，用PuTTY连接linux即可解决
Pyspark 北京多地区空气质量大数据分析
10-11
Pyspark的使用 空气质量指数和空气质量等级的计算 应用多种ML算法 Kmeans BisectingKmeans ClusterEvaluator StringIndexer VectorAssembler StandarScaler DecisionTreeClassifier RandomForestClassifier ...
【大数据基础】基于零售交易数据的Spark数据处理与分析
Algernon98的博客
04-03 1023
【代码】【大数据基础】基于零售交易数据的Spark数据处理与分析。
pyspark 中删除hdfs的文件夹
ticktick999的专栏
12-01 2149
在pyspark中保存rdd的内存到文件的时候，会遇到文件夹已经存在而失败，所以如果文件夹已经存在，需要先删除。 搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令 hadoop fs -rm -f来删除，这个方法感觉不怎么好，所以继续找。 后来通过查找hadoop hdfs 的源代码发现 hdfs是通过java的包 org.appache.hadoop.fs中的几个类来完成的，也有用java创建 hdfs对象再调用对象的删除...
pyspark —— spark dataframe 从hdfs读写文件
m0_37347812的博客
10-27 2565
pyspark —— spark dataframe 从hdfs读写文件：按照指定文件格式读写文件（读写csv、json、text文件，读取hive表，读取MySQL表）、按照指定分隔符读写文件
Spark中数据预处理和清洗的方法(python)
Wxh_bai的博客
04-03 2118
常见的数据预处理和清洗方法
PySpark入门十三：数据清洗之描述性统计
默默经营自己的小世界
09-07 1279
描述性统计 描述性统计是熟悉数据的最直接的方法之一，可以让我们很轻松就知道数据中有多少个缺失的观测数据、平均值、标准差、最大最下值 # 导包和创建连接的代码我就不写了 # 加载数据类型模块 import pyspark.sql.types as typ # 加载数据 fraud = sc.textFile('./ccFraud.csv') header = fraud.first() # 删除标题行 并将每个元素转化为整形 fraud = fraud.filter(lambda row: row !=
pyspark模型训练
qq_19072921的博客
03-30 3058
1、pyspark启动 正常情况pyspark shell的启动成功后的界面： [admin@datacenter4 ~]$ pyspark Python 2.7.5 (default, Nov 16 2020, 22:23:17) [GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux2 Type "help", "copyright", "credits" or "license" for more information. Welcome to ...
pyspark数据清洗
05-31
在 PySpark 中进行数据清洗的步骤通常如下： 1. 读取数据：使用 PySpark 的数据读取 API（如 `spark.read.csv()`）读取需要清洗的数据文件。 2. 去除重复数据：使用 `dropDuplicates()` 方法去除数据中的重复项。 3. 处理缺失值：使用 `fillna()` 方法填充缺失值，可以选择使用平均值、中位数、众数或自定义值进行填充。 4. 删除无用列：使用 `drop()` 方法删除不需要的列。 5. 数据类型转换：使用 `cast()` 方法将数据类型转换为正确的类型，如将字符串类型转换为数字类型。 6. 数据筛选：使用 `filter()` 方法根据条件筛选需要的数据。 7. 数据排序：使用 `orderBy()` 或 `sort()` 方法对数据进行排序。 8. 数据聚合：使用 `groupBy()` 和聚合函数（如 `sum()`、`avg()`、`count()` 等）进行数据聚合。 9. 保存清洗后的数据：使用 PySpark 的数据写入 API（如 `df.write.csv()`）将清洗后的数据保存到文件中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值