《数据清洗》第七章操作题


前言

数据的加载机制与数据的抽取机制相类似,数据的加载机制可以分为全量加载和增量加载。其中,全量加载是指将目标数据表中的数据全部删除后,进行数据加载的操作;而增量加载是指目标表只加载源数据表中变化的数据,其中变化的数据包含新增、修改和删除的数据。

一、全量加载

假设,现有两张数据表,分别为数据表full_source和数据表full_target,其中数据表full_source为源数据表,数据表full_target为目标数据表。数据表full_source和full_target的内容如图所示。

CREATE TABLE `full_source` (
	`no` INT (10),
	`book_name` VARCHAR (60),
	`author` VARCHAR (30),
	`tag` VARCHAR (60)
); 
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('1','小王子','圣艾克苏佩里','外国文学');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('2','解忧杂货店','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('3','白夜行','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('4','梦里花落知多少','郭敬明','小说');
INSERT 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当涉及到数据清洗的高频面试题时,以下是一些常见的问题和答案: 1. 什么是数据清洗数据清洗是指对原始数据进行处理和转换,以去除错误、不完整、重复或不必要的数据,以确保数据的准确性和一致性。 2. 如何处理缺失值? 处理缺失值的常见方法包括删除包含缺失值的行或列、用均值或中位数填充缺失值、使用插值方法填充缺失值等。 3. 如何处理重复值? 处理重复值的方法包括删除重复值、保留第一个或最后一个重复值、标记重复值等。 4. 如何处理异常值? 处理异常值的方法包括删除异常值、替换为缺失值、使用统计方法进行修正等。 5. 如何处理不一致的数据格式? 处理不一致的数据格式可以使用字符串操作函数(如strip、lower、replace等)进行格式化,或者使用正则表达式进行匹配和替换。 6. 如何处理数据类型转换? 可以使用Python的内置函数(如int、float、str等)进行数据类型转换,或者使用pandas库中的astype函数进行批量转换。 7. 如何处理日期和时间数据? 可以使用Python的datetime模块进行日期和时间数据的解析、格式化和计算,或者使用pandas库中的to_datetime函数进行批量转换。 8. 如何处理文本数据? 处理文本数据的方法包括去除特殊字符、分词、去除停用词、词干提取、词向量化等。 9. 如何处理数据集合的合并和拆分? 可以使用pandas库中的merge函数进行数据集合的合并,使用split函数进行数据集合的拆分。 10. 如何处理数据集中的异常值和离群点? 可以使用统计方法(如均值、标准差)进行异常值和离群点的检测和修正,或者使用可视化工具(如箱线图、散点图)进行可视化分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值