第5章 数据的清洗与检验 操作题

一、完全去重

1.创建转换repeat_transform;

2.配置“CSV文件输入”控件;

3.配置“唯一行(哈希值)”控件;

4.运行转换repeat_transform;

5.查看处理后的数据。

二、填充缺失值

1.创建转换fill_missing_value;

2.配置“文本文件输入”控件;

 

3.配置“过滤记录”控件;

4.配置“替换NULL值”控件;

5.配置“合并记录”控件;

6.配置“替换NULL值2”控件;

7.配置“字段选择”控件;

8.运行转换fill_missing_value;

9.查看处理后的数据。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当涉及到数据清洗的高频面试题时,以下是一些常见的问题和答案: 1. 什么是数据清洗数据清洗是指对原始数据进行处理和转换,以去除错误、不完整、重复或不必要的数据,以确保数据的准确性和一致性。 2. 如何处理缺失值? 处理缺失值的常见方法包括删除包含缺失值的行或列、用均值或中位数填充缺失值、使用插值方法填充缺失值等。 3. 如何处理重复值? 处理重复值的方法包括删除重复值、保留第一个或最后一个重复值、标记重复值等。 4. 如何处理异常值? 处理异常值的方法包括删除异常值、替换为缺失值、使用统计方法进行修正等。 5. 如何处理不一致的数据格式? 处理不一致的数据格式可以使用字符串操作函数(如strip、lower、replace等)进行格式化,或者使用正则表达式进行匹配和替换。 6. 如何处理数据类型转换? 可以使用Python的内置函数(如int、float、str等)进行数据类型转换,或者使用pandas库中的astype函数进行批量转换。 7. 如何处理日期和时间数据? 可以使用Python的datetime模块进行日期和时间数据的解析、格式化和计算,或者使用pandas库中的to_datetime函数进行批量转换。 8. 如何处理文本数据? 处理文本数据的方法包括去除特殊字符、分词、去除停用词、词干提取、词向量化等。 9. 如何处理数据集合的合并和拆分? 可以使用pandas库中的merge函数进行数据集合的合并,使用split函数进行数据集合的拆分。 10. 如何处理数据集中的异常值和离群点? 可以使用统计方法(如均值、标准差)进行异常值和离群点的检测和修正,或者使用可视化工具(如箱线图、散点图)进行可视化分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值