5.2缺失值处理

最新推荐文章于 2023-07-26 06:15:00 发布
最新推荐文章于 2023-07-26 06:15:00 发布
阅读量631 收藏
点赞数
文章标签： etl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58016320/article/details/128061732
版权

5.2.1缺失值清洗策略

缺失值是指数据集中某个或某些属性的值是不完整的，产生的原因主要有人为原因和机械原因两种，其中机械原因是由于机器故障造成数据未能收集或存储失败，人为原因是由主观失误或有意隐瞒造成的数据缺失。

缺失值清洗策略
制定合理的缺失值数据处理策略，不仅可以提升缺失值数据处理的效率，还可以使处理后数据的可靠性得到保证，提高最终分析结果的准确性。缺失值的处理方法很多，这里建议大家在清洗缺失值时，首先计算数据源字段缺失值比例，之后根据数据缺失率和重要性，指定不同的策略。下面，通过一张图来描述缺失数据的缺失率以及重要性划分的四种情况，具体如图所示。

根据缺失值的范围制定对应的策略，通常情况下采用的策略如表所示。

缺失值范围

对应策略

重要性高、缺失率高的数据

(1) 尝试从其它渠道获取数据进行补全

(2) 通过对其它字段的数据进行分析、计算等方式获取合理值进行补全

(3) 去除字段但要在结果中进行标注

重要性高、缺失率低的数据

(1) 通过对字段自身的数据进行分析、计算等方式获取合理值进行补全

(2) 通过自身的经验与业务知识对缺失值数据进行人为补全

重要性低、缺失率高的数据

直接去除该字段

重要性低、缺失率低的数据

可以不去处理或者进行简单的填充

 去除缺失值
数据缺失分为两种：一种是行记录的缺失，这种情况又称数据记录丢失；另一种是数据列值的缺失，即由于各种原因导致的数据记录中某些列的值空缺。 去除缺失值数据通常分为两种情况：一种是删除存在遗漏信息属性值的对象的列，另一种是删除存在遗漏信息属性值对象的记录，从而得到一个完备的信息表。缺失值数据在缺失值所在的列对最终分析结果无重要意义或存在缺失值的记录与初始数据集的数据量相比非常小的情况下非常有效。 在数据量小的情况下，通过人为观察就可以轻易从数据集中找到存在缺失值的记录；若是数据量比较大，那么通过人为观察的方式查找存在缺失值的记录是非常耗时的，因此数据集较大的情况下可利用统计学方法筛选出包含缺失值的对象，然后通过计算得出每个字段的缺失率，去除缺失率高的字段，最后再对数据进行过滤，将有缺失值的记录过滤掉，这样就可以避免数据大量的丢失。
5.2.2去除缺失值
创建转换

在这里插入图片描述

 配置文本文件输入，获取字段：Name,Sex,Pay,Area在这里插入图片描述

配置过滤记录组件，添加过滤条件 

在这里插入图片描述

查看效果
在这里插入图片描述
运行成功
在这里插入图片描述
5.2.3填充缺失值
创建转换
在这里插入图片描述 

配置过滤记录控件
在这里插入图片描述
配置合并记录控件，选择匹配关键字：userid
在这里插入图片描述
将hours_per_week的null值替换为44
在这里插入图片描述
将字段workclass的null值替换为Private
在这里插入图片描述

 

配置字段选择控件，移除flagfield字段

在这里插入图片描述

 查看结果：已经将null值填充完毕

在这里插入图片描述

 

钟灵7593
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pandas使用dropna函数删除dataframe数据中多个数据列的内容至少包含一个缺失值的数据行（使用subset参数指定多个数据列）
statistics+insight+vista+power
11-25 724
pandas使用dropna函数删除dataframe数据中多个数据列的内容至少包含一个缺失值的数据行（使用subset参数指定多个数据列）
SAS缺失值筛选，删除比例超过一定阈值的变量/观测
小五的博客
06-24 5243
1.删除缺失值比例超过一定阈值的变量 options symbolgen; data missing; input n1 n2 n3 n4 n5 n6 n7 n8 c1$ c2$ c3$ c4$; datalines; 1 . 1 . 1 . 1 4 a . c . 1 1 . . 2 . . 5 e . g h 1 . 1 . 3 . . 6 . . k l 1 . . . . . . . a ...
5.2 缺失值处理
kiritobryant的博客
10-21 960
通过Kettle工具，去除原始数据集revenue.txt中的缺失值。现在有一份就业人员的收入数据文件revenue.txt，由于某种原因，在数据采集的过程中产生了大量的缺失值数据，内容如图所示。通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。单击【浏览】按钮，选择要去除缺失值的文件revenue.txt；
sas table将缺失值计入百分比_sas缺失值处理（一）——变量值皆为缺失值的变量删除...
weixin_39960793的博客
12-20 1193
在大型数据处理中往往会遇到数据缺失的情况，如何处理缺失值尤为重要，对于缺失值处理的理论知识这里不一一概述，在此介绍一下SAS如何删除变量值皆为缺失值的变量(也就是删除全为缺失值的一列)。在SAS中数据只有两种类型：数值型和字符型。基于这一点，我们在此介绍一种利用数组进行变量删除的方式：此处使用的数据集包括9个变量，22条观测。​SAS代码如下：data temp;set new;array arr...
SAS：批处理处理缺失值
aihu4455的博客
04-01 1412
/*将变量缺失值设置为0*/DATA S.data; SET S.data; ARRAY NUM{*} _NUMERIC_;/*_NUMERIC_可以换成_ALL_,_CHARACTER_*/ DO I=1 TO DIM(NUM); IF MISSING(NUM{I}) THEN NUM{I}=0; END;RUN; 缺失值的填充： /*缺失值处理*/PROC STDIZE ...
SAS缺失值筛选
小五的博客
11-09 5176
SAS缺失值筛选 两种方法 1.data方法（指针） data missing(drop=i); set data; *此处为自己的数据 array a _numeric_; do i=1 to dim(a); if missing(a) then output; end; array b _character_; do i=1 to dim(b); if missing(b...
5.2决策树(1)1
08-03
在处理属性值缺失的数据时，决策树算法需要策略来处理这些缺失值。有多种方法可以解决这个问题，如忽略含有缺失值的样本、使用平均值或众数填充缺失值、或者基于其他属性的值预测缺失值。在某些算法中，如ID3或C4.5...
使用Pandas进行数据预处理 笔记2 任务 5.2 清洗数据代码数据
11-02
- **异常值处理**：对于超出正常范围或不符合业务逻辑的值，可以使用条件判断进行替换或过滤。 5. **数据清洗实践**： - `meal_order_detail.csv`和`meal_order_info.csv`可能是关于餐饮订单的数据，可能需要检查...
新教材粤教版高中信息技术学业水平 综合测试第五章 数据处理与可视化表达.docx
04-02
数据分析的核心是揭示数据背后的模式和规律，包括特征探索（预处理、处理缺失值和异常数据，分析数据分布等）、关联分析（寻找数据间的关联性）和聚类分析（无监督学习，自动将数据分组）。数据分析的过程有助于我们...
风电场风速两参数weibull(威布尔)分布的MATLAB小程序
04-11
1. **数据预处理**：读取风速采样数据，去除异常值和缺失值，确保数据质量。 2. **参数估计**：通过极大似然法或矩匹配法估计威布尔分布的k和λ参数。 3. **分布拟合**：使用估计的参数构建威布尔分布函数，与原始...
sas 数组简介，sas数组批量处理缺失值和批量更改数据类型例子
暮雨听轩的专栏
09-26 9143
数组是一组以特殊顺序排列并由数组名标识的SAS变量。只要一组变量名都是同一类型，例如都是数字型或字符型，就可以为该组变量定义一个数组。这些变量可以是数据集中已经存在的，也可以是要创建的新变量。数组仅仅在当前DATA步中存在，在同一DATA步中，数组按名字区分。SAS数组不是一种数据结构，只是临时标识一组变量较方便的方法，在这点上SAS数组不同于其他编程语言中的数组。 一、引用和定义：...
SAS: 缺失值 missing values简介
匿_名_用_户的专栏
09-02 1万+
SAS中当一个变量的值未定义的时候，可以认为是缺失值， missing values。 表现 如果是数值型，则用英文句号表示缺失值，如果是字符型，则用空白表示缺失值。 缺失值判断 可以用missing()函数判断是否是缺失值，函数返回1表示是缺失值，示例如下： 缺失值的比较 缺失值比正常的字符或者数字都小，可以用于比较，示例如下： 缺失值的运算 直接用运算符计算带有缺失值的变量，结果仍为缺失值，不过sum函数中的参数中可以有缺失值，不影响sum的结果。示例如下...
缺失值-删除缺失值行、列，以及特定的行、列
Chloris_的博客
09-30 1万+
@缺失值处理 df.isnull()#是缺失值返回True，否则范围False df.isnull().sum()#返回每列包含的缺失值的个数 df.dropna()#直接删除含有缺失值的行 df.dropna(axis = 1)#直接删除含有缺失值的列 df.dropna(how = ‘all’)#只删除全是缺失值的行 df.dropna(thresh = 4)#保留至少有4个缺失值的行 df.dropna(subset = [‘C’])#删除含有缺失值的特定的列 dddf = ddf.dropna(su
第3章【思考与练习4】数据清洗，从studentsInfo.xlsx 文件的“Group1”表单中读取数据。数据填充，使用习题1的数据，使用列的平均值填充“体重”和“成绩”列的NaN数据。
m0_51474486的博客
03-13 7672
第3章 | 数据汇总与统计。P52【思考与练习4】。考察数据填充与清洗。 1、数据清洗。 1）从studentsInfo.xlsx 文件的“Group1”表单中读取数据；2）将“案例教学”列数据值全改为NaN； 3）滤除每行数据中缺失3项以上（包括3项）的行；4）滤除值全部为NaN的列； 2、数据填充：1）使用习题1的数据； 2）使用列的平均值填充“体重”和“成绩”列的NaN数据； 3）使用上一行数据填充“年龄”列的NaN数据； 4）使用“中位数”填充“生活费用”NaN数据。
缺失值处理
m0_51542629的博客
05-29 792
数据分析-数据缺失值处理
MySQL笔记——表的修改查询相关的命令操作
最新发布
张小鱼的博客
07-26 1138
本文主要讲解表的修改查询相关的命令操作案例如下：对student表当中年龄大于等于20岁的并且对其成绩进行从大到小进行排序。以上就是今天的内容~如有问题、建议，请您在评论区留言💬哦。最后：转载请注明出处！！！
SAS：去除string中空格的方式
u013782990的博客
04-16 2147
SAS进行数据清理的时候，最常遇到的问题之一。清理string中空格。
SAS：proc sql中对空值(缺失值)的处理
热门推荐
qq646748739的专栏
05-09 1万+
coalesce()函数可以判断字段的缺失值并用指定的值来代替，注意字段值类型需要和指定的值类型保持一致。 1 proc sql; 2 select date,coalesce(city,1),wangnei from mysas.mms; 3 quit; 此外，还可以用if语句来判断和赋值： 1 proc sql; 2 select date,wangnei,
A B C D 0 1.0 3.0 2 NaN 1 4.0 NaN 7 2.0 2 5.0 8.0 NaN None 3 NaN 5.2 9 8.4 （1） 删除表格中的空值和缺失值。 （2） 将A列缺失的数据使用数字7.5填充，C列缺失的数据使用数字11填充。 （3） 将B列中的数据强制转换成int类型。 （4） 重命名列索引的名称为a,b,c,d, 并且在原有数据上进行修改。
06-08
好的，让我来回答你的问题： 针对你的数据处理问题，我的回答如下： （1）删除表格中的空值和缺失值： 删除空值和缺失值的代码： ``` python df.dropna(inplace=True) ``` 执行上述代码后，表格将会删除空值和缺失值。 （2）将A列缺失的数据使用数字7.5填充，C列缺失的数据使用数字11填充： 填充缺失值的代码： ``` python df['A'].fillna(7.5, inplace=True) df['C'].fillna(11, inplace=True) ``` 执行上述代码后，表格中的A列缺失值将被填充为7.5，C列缺失值将被填充为11。 （3）将B列中的数据强制转换成int类型： 强制转换数据类型的代码： ``` python df['B'] = df['B'].astype(int) ``` 执行上述代码后，表格中的B列数据类型将被强制转换为int类型。 （4）重命名列索引的名称为a,b,c,d, 并且在原有数据上进行修改： 重命名列索引的代码： ``` python df.rename(columns={'A': 'a', 'B': 'b', 'C': 'c', 'D': 'd'}, inplace=True) ``` 执行上述代码后，表格中的列索引名称将被重命名为a,b,c,d。 以上就是我对你提出的数据处理问题的回答，希望对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值