【博学谷学习记录】超强总结，用心分享|狂野大数据课程【Spark SQL的相关清洗API】的总结分析

• 去重API: dropDuplicates

• 删除缺失值的API: dropna

• 替换缺失值的API: fillna

代码演示:

from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession
import os

# 锁定远端环境, 确保环境统一
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    print("演示清洗API")

    # 1. 创建SparkSession对象
    spark = SparkSession.builder.appName('movie_demo').master('local[*]').getOrCreate()
    # 2- 读取外部文件数据
    df = spark.read.csv(
        path='file:///export/data/workspace/ky06_pyspark/_03_SparkSql/data/clear.txt',
        header=True,
        inferSchema=True,
        sep=','
    )
    df.printSchema()
    df.show()
    # 3- 执行相关的操作
    # 3.1 去重API
    df.dropDuplicates().show() # 整体去重, 如果整个一行内容和其他行完全一致, 那么删除后续行, 保留第一行

    df.dropDuplicates(subset=['address','sex']).show() # 判断 address 和 sex两列, 如果一致, 删除后续行, 保留第一行

    # 3.2 删除缺失值的API
    df.dropna().show() # 判断所有的字段, 只要某一行的某个字段为null, 整个一行都会被删除

    df.dropna(thresh=3).show() # 至少保证每一行中有三行是有效, 如果不满足 删除整行数据

    df.dropna(thresh=2,subset=['id','name','address']).show() # 至少保证在 id name address这三列中有二列是有效的, 如果不满足. 删除整行数据

    # 思考: 我想删除一整行都是为null的数据, 如果只有某个为null 不需要删除
    df.dropna(how='all').show()

    # 3.3 替换缺失值的API
    df.fillna(value=0).show() # 将所有int类型的字段的Null 赋值为默认值 (说明: 具体覆盖什么类型的字段, 取决于传入默认值的类型)

    df.fillna(value='未知',subset=['name','address']).show()

    # 常用插入方式
    df.fillna(value={'id':0,'name':'未知姓名','address':'未知地址','sex':'未知性别','age':18}).show()