数据挖掘：数据清洗——缺失值处理

最新推荐文章于 2024-06-15 19:12:51 发布

AvenueCyy

最新推荐文章于 2024-06-15 19:12:51 发布

阅读量1.7w

点赞数 20

分类专栏：数据挖掘文章标签：数据挖掘机器学习 python

本文链接：https://blog.csdn.net/AvenueCyy/article/details/104354132

版权

数据挖掘专栏收录该内容

24 篇文章 41 订阅

订阅专栏

数据挖掘：数据清洗——缺失值处理

在这里插入图片描述

一、什么是缺失值

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。

而在数据处理的过程中，缺失值不仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如，在系统中用-999来表示数值不存在）。
说明：

None是一个python特殊的数据类型。不同于空列表和空字符串，是一种单独的格式。
NaN是numpy\pandas下的，不是Python原生的，Not a Number的简称。数据类型是float。
- 对整体的series或Dataframe判断是否未空，用isnull()
- 对单独的某个值判断，可以用 np.isnan()
Null在Python中没有这个NULL，NULL主要是在C语言中，在Python中对应的就是None，空字符，数据类型是字符串。
NaT非时间空值，Not a Time.该值可以存储在 datetime 数组中以指示未知或缺失的 datetime 值。NaT 返回一个 (NaT) datetime 非时间标量值。

空值语义

对于某个对象的属性值未知的情况，我们称它在该属性的取值为空值(null value)。空值的来源有许多种，因此现实世界中的空值语义也比较复杂。总的说来，可以把空值分成以下三类：

不存在型空值。即无法填入的值，或称对象在该属性上无法取值，如一个未婚者的配偶姓名等。
存在型空值。即对象在该属性上取值是存在的，但暂时无法知道。如一个已婚者的配偶姓名等。一般情况下，空值是指存在型空值。
占位型空值。即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚，是最不确定的一类。这种空值除填充空位外，并不代表任何其他信息。

二、缺失值产生的原因

机械原因：是由于机械原因导致的数据收集或保存的失败造成的数据缺失。比如数据存储出现问题，机械故障导致某段时间数据未能收集（对于定时数据采集而言）。
人为原因：是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据。

现实世界中的数据异常杂乱，属性值缺失的情况经常发全甚至是不可避免的。造成数据缺失的原因是多方面的：
3. 信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就致使一部分属性值空缺出来。
4. 信息被遗漏。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失。
5. 有些对象的某个或某些属性是不可用的。如一个未婚者的配偶姓名、一个儿童的固定收入状况等。
6. 有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关。
7. 获取这些信息的代价太大。
8. 系统实时性能要求较高。即要求得到这些信息前迅速做出判断或决策。

三、数据缺失机制

在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量称为完全变量，数据集中含有缺失值的变量称为不完全变量。从缺失的分布来将缺失可以分为完全随机缺失，随机缺失和完全非随机缺失。

完全随机缺失（missing completely at random,MCAR）：指的是数据的缺失是完全随机的，不依赖于任何不完全变量或完全变量，不影响样本的无偏性。如家庭地址缺失，与其他变量无关。
随机缺失(missing at random,MAR)：指的是数据的缺失不是完全随机的，即该类数据的缺失依赖于其他完全变量。例如财务数据缺失情况与企业的大小有关，两个变量间存在关系。
非随机缺失(missing not at random,MNAR)：指的是数据的缺失与不完全变量自身的取值有关。如高收入人群的不原意提供家庭收入，人为不可控因素造成的。

对于随机缺失和非随机缺失,删除记录是不合适的,随机缺失可以通过已知变量对缺失值进行估计；而非随机缺失还没有很好的解决办法。
说明:对于分类问题，可以分析缺失的样本中，类别之间的比例和整体数据集中，类别的比例。

四、缺失值处理的重要性

当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往缺失数据占有相当的比重。这时如果手工处理非常低效，如果舍弃缺失记录，则会丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异，对这样的数据进行分析，很可能会得出错误的结论。

数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说，缺省值的存在，造成了以下影响：

系统丢失了大量的有用信息；
系统中所表现出的不确定性更加显著，系统中蕴涵的确定性成分更难把握，；
包含空值的数据会使挖掘过程陷入混乱，直接拿来进行分析挖掘，那么很可能会得到错误的结论。

数据挖掘算法本身更致力于避免数据过分拟合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此，缺省值需要通过专门的方法进行推导、填充等，以减少数据挖掘算法与实际应用之间的差距。

五、缺失值处理的要素

个人认为关于缺失值的处理，主要包含以下两个因素：

尽可能防止数据信息的缺失。仅因为数据某一特征的缺失，就删除整行数据，那么其他特征的数据信息也会丢失，这对数据挖掘(充分利用数据给定的信息，从中挖掘出能解决目标问题的信息)是极其不利的。
缺失值填充的合理性。这个一方面与数据本身的数值有关，采用一些算法或图形对填充的合理性进行检验。如填充后的数据与之前的直方图上是否有太大的变化。另一方面与数据的特定场景有关，需要按照不同的方法对缺失值进行填充，如
1. “年收入”：商品推荐场景下填充平均值，借贷额度场景下填充最小值；
2. “行为时间点”：填充众数；
3. “价格”：商品推荐场景下填充最小值，商品匹配场景下填充平均值；
4. “人体寿命”：保险费用估计场景下填充最大值，人口估计场景下填充平均值；
5. “驾龄”：没有填写这一项的用户可能是没有车，为它填充为0较为合理；
6. ”本科毕业时间”：没有填写这一项的用户可能是没有上大学，为它填充正无穷比较合理；
7. “婚姻状态”：没有填写这一项的用户可能对自己的隐私比较敏感，应单独设为一个分类，如已婚1、未婚0、未填-1。

六、缺失值处理方法的分析与比较

处理不完整数据集的方法主要有三大类：删除元组、数据补齐、不处理。

6.1删除元祖

也就是将存在遗漏信息属性值的对象（元组，记录）删除，从而得到一个完备的信息表。这种方法简单易行，在对象有多个属性缺失值、被删除的含缺失值的对象与初始数据集的数据量相比非常小的情况下非常有效，类标号缺失时通常使用该方法。
然而，这种方法却有很大的局限性。

它以减少历史数据来换取信息的完备，会丢弃大量隐藏在这些对象中的信息。
当缺失数据比例较大时，特别是缺失数据非随机分布时，直接删除可能会导致数据发生偏离，比如原本的正态分布变为非正太。

说明:这种方法在样本数据量十分大且缺失值不多的情况下非常有效，但如果样本量本身不大且缺失也不少，那么不建议使用。但若数据量缺失值的过大75%，则无法获取有用的信息，甚至对后续的工作产生不利影响，建议直接删除该特征。

6.2数据补齐

这类方法是用一定的值去填充空值，从而使信息表完备化。通常基于统计学原理，根据初始数据集中其余对象取值的分布情况来对一个缺失值进行填充。数据挖掘中常用的有以下几种补齐方法：

替换缺失值

6.2.1 人工填写（filling manually）

由于最了解数据的还是用户自己，因此这个方法产生数据偏离最小，可能是填充效果最好的一种。然而一般来说，该方法很费时，当数据规模很大、空值很多的时候，该方法是不可行的。

6.2.2 特殊值填充（Treating Missing Attribute values as Special values）

将空值作为一种特殊的属性值来处理，它不同于其他的任何属性值。如所有的空值都用“unknown”填充。这样将形成另一个有趣的概念，可能导致严重的数据偏离，一般不推荐使用。

6.2.3 平均值填充（Mean/Mode Completer）

将初始数据集中的属性分为数值属性和非数值属性来分别进行处理。
如果空值是数值型的，就根据该属性在其他所有对象的取值的平均值、中位数来填充该缺失的属性值；
如果空值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值。与其相似的另一种方法叫条件平均值填充法（Conditional Mean Completer）。在该方法中，用于求平均的值并不是从数据集的所有对象中取，而是从与该对象具有相同决策属性值的对象中取得。
这两种数据的补齐方法，其基本的出发点都是一样的，以最大概率可能的取值来补充缺失的属性值，只是在具体方法上有一点不同。与其他方法相比，它是用现存数据的多数信息来推测缺失值。
说明：
对于数值型数据，若数据存在有偏的情况，则推荐用中位数来填充，平均数会受到极值的影响，导致无法更好地体现数据的集中趋势。还可以按照类别，首先将样本进行分类，然后以该类中样本的均值来插补缺失值

注：此方法虽然简单，但是不够精准，可能会引入噪声，或者会改变特征原有的分布。
下图左为填补前的特征分布，图右为填补后的分布，明显发生了畸变。因此，如果缺失值是随机性的，那么用平均值比较适合保证无偏，否则会改变原分布。

6.2.4 热卡填充（Hot deck imputation，或就近补齐）

对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象(特征)，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。该方法概念上很简单，且利用了数据间的关系来进行空值估计。这个方法的缺点在于难以定义相似标准，主观因素较多，人为选择。

6.2.5 K最近距离邻法（K-means clustering）

先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。
利用无监督机器学习的聚类方法。通过K均值的聚类方法将所有样本进行聚类划分，然后再通过划分的种类的均值对各自类中的缺失值进行填补。归其本质还是通过找相似来填补缺失值。

注：缺失值填补的准确性就要看聚类结果的好坏了，而聚类结果的可变性很大，通常与初始选择点有关，并且在下图中可看到单独的每一类中特征值也有很大的差别，因此使用时要慎重。

说明：
利用了样本之间关联性，而非单个特征数据进行自我填充。
在这里插入图片描述

6.2.6 使用所有可能的值填充（Assigning All Possible values of the Attribute）

用空缺属性值的所有可能的属性取值来填充，能够得到较好的补齐效果。但是，当数据量很大或者遗漏的属性值较多时，其计算的代价很大，可能的测试方案很多。

6.2.7 组合完整化方法（Combinatorial Completer）

用空缺属性值的所有可能的属性取值来试，并从最终属性的约简结果中选择最好的一个作为填补的属性值。这是以约简为目的的数据补齐方法，能够得到好的约简结果；但是，当数据量很大或者遗漏的属性值较多时，其计算的代价很大。

拟合缺失值

6.2.8 回归（Regression）

基于完整的数据集，建立回归方程。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。当变量不是线性相关时会导致有偏差的估计。

6.2.9 期望值最大化方法（Expectation maximization，EM）

在缺失类型为随机缺失的条件下，假设模型对于完整的样本是正确的，那么通过观测数据的边际分布可以对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计，对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization，EM）。该方法比删除个案和单值插补更有吸引力，它一个重要前提：适用于大样本。有效样本的数量足够以保证ML估计值是渐近无偏的并服从正态分布。但是这种方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。

EM算法是一种在不完全数据情况下计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：

E步（Excepctaion step,期望步），在给定完全数据和前一次迭代所得到的参数估计的情况下，计算完全数据对应的对数似然函数的条件期望；
M步（Maximzation step，极大化步），用极大化对数似然函数以确定参数的值，并用于下步的迭代。
算法在E步和M步之间不断迭代直至收敛，即两次迭代之间的参数变化小于一个预先给定的阈值时结束。

6.2.10 有序K近邻法（Sequential KNN）

方法是对上述KNN法的改进，它在缺失值占比稍微大些的数据中表现依然良好。实现流程是先根据数据中每个对象缺失值的比例进行排序（这里也就体现出“Sequential”的思想），从比例最小的那个对象开始计算，根据预先设定的K个近邻（注意这里是指没有缺失值的，KNN法里面并没有强调这一点）的值进行加权或者平均计算填充。此外当该对象填充完毕后，也会加入后续其他对象缺失值填充的计算当中。

6.2.11 多重填补（Multiple Imputation，MI）

多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。

多重填补方法分为三个步骤：

为每个空值产生一套可能的填补值，这些值反映了无响应模型的不确定性；每个值都被用来填补数据集中的缺失值，产生若干个完整数据集合。
每个填补数据集合都用针对完整数据集的统计方法进行统计分析。
对来自各个填补数据集的结果进行综合，产生最终的统计推断，这一推断考虑到了由于数据填补而产生的不确定性。该方法将空缺值视为随机样本，这样计算出来的统计推断可能受到空缺值的不确定性的影响。该方法的计算也很复杂。

假设一组数据，包括三个变量Y1，Y2，Y3，它们的联合分布为正态分布，将这组数据处理成三组，A组保持原始数据，B组仅缺失Y3，C组缺失Y1和Y2。在多值插补时，对A组将不进行任何处理，对B组产生Y3的一组估计值（作Y3关于Y1，Y2的回归），对C组作产生Y1和Y2的一组成对估计值（作Y1，Y2关于Y3的回归）。
当用多值插补时，对A组将不进行处理，对B、C组将完整的样本随机抽取形成为m组（m为可选择的m组插补值），每组个案数只要能够有效估计参数就可以了。对存在缺失值的属性的分布作出估计，然后基于这m组观测值，对于这m组样本分别产生关于参数的m组估计值，给出相应的预测，这时采用的估计方法为极大似然法，在计算机中具体的实现算法为期望最大化法（EM）。对B组估计出一组Y3的值，对C将利用Y1,Y2,Y3它们的联合分布为正态分布这一前提，估计出一组(Y1，Y2）。

上例中假定了Y1,Y2,Y3的联合分布为正态分布。这个假设是人为的，但是已经通过验证（Graham和Schafer于1999），非正态联合分布的变量，在这个假定下仍然可以估计到很接近真实值的结果。

注：使用多重插补要求数据缺失值为随机性缺失，一般重复次数20-50次精准度很高，但是计算也很复杂，需要大量计算。

多重插补和贝叶斯估计的思想是一致的，但是多重插补弥补了贝叶斯估计的几个不足：

贝叶斯估计以极大似然的方法估计，极大似然的方法要求模型的形式必须准确，如果参数形式不正确，将得到错误得结论，即先验分布将影响后验分布的准确性。而多重插补所依据的是大样本渐近完整的数据的理论，在数据挖掘中的数据量都很大，先验分布将极小的影响结果，所以先验分布的对结果的影响不大。
贝叶斯估计仅要求知道未知参数的先验分布，没有利用与参数的关系。而多重插补对参数的联合分布作出了估计，利用了参数间的相互关系。

6.2.12 C4.5方法

通过寻找属性间的关系来对遗失值填充。它寻找之间具有最大相关性的两个属性，其中没有遗失值的一个称为代理属性，另一个称为原始属性，用代理属性决定原始属性中的遗失值。这种基于规则归纳的方法只能处理基数较小的名词型属性。应用随机森林将缺失值作为目标变量。

虚拟变量

6.2.13 引入虚拟变量

把变量映射到高维空间。比如性别，有男、女、缺失三种情况，则映射成3个变量：是否男、是否女、是否缺失。连续型变量也可以这样处理。比如Google、百度的CTR预估模型，预处理时会把所有变量都这样处理，达到几亿维。这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题。缺点是计算量大大提升。

但只有在样本量非常大的时候效果才好，否则会因为过于稀疏，效果很差。

6.2.14 小结

就以上几种基于统计的方法而言：

删除元组法和平均值法(不建议直接插入常量)差于hot deck、EM和MI；
回归是比较好的一种方法，但仍比不上hot deck和EM；
EM缺少MI包含的不确定成分。

值得注意的是，这些方法直接处理的是模型参数的估计而不是空缺值预测本身。它们合适于处理无监督学习的问题，而对有监督学习来说，情况就不尽相同了。譬如，你可以删除包含空值的对象用完整的数据集来进行训练(当数据缺失值占比多大时)，但预测时你却不能忽略包含空值的对象。另外，C4.5和使用所有可能的值填充方法也有较好的补齐效果，人工填写和特殊值填充则是一般不推荐使用的。

不处理

补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实，在对不完备信息进行补齐处理的同时，我们或多或少地改变了原始的信息系统。而且，对空值不正确的填充往往将新的噪声引入数据中，使挖掘任务产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理。

不处理缺失值，直接在包含空值的数据上进行数据挖掘的方法包括贝叶斯网络和人工神经网络等。

贝叶斯网络提供了一种自然的表示变量间因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯网络仅适合于对领域知识具有一定了解的情况，至少对变量间的依赖关系较清楚的情况。否则直接从数据中学习贝叶斯网的结构不但复杂性较高（随着变量的增加，指数级增加），网络维护代价昂贵，而且它的估计参数较多，为系统带来了高方差，影响了它的预测精度。
人工神经网络可以有效的对付缺失值，但人工神经网络在这方面的研究还有待进一步深入展开。

在实际应用中，一些模型无法应对具有缺失值的数据，因此要对缺失值进行处理。然而还有一些模型本身就可以应对具有缺失值的数据，此时无需对数据进行处理，比如Xgboost，rfr等高级模型。

七、总结

删除。最简单最直接的方法，很多时候也是最有效的方法，这种做法的缺点是可能会导致信息丢失。删除有缺失数据的样本删除有过多缺失数据的特征
补全。用规则或模型将缺失数据补全，这种做法的缺点是可能会引入噪声。
1. 平均数、中位数、众数、最大值、最小值、固定值、插值等等。
2. 建立一个模型来“预测”缺失的数据。（KNN, Matrix completion等方法）。但有一个缺点，如果其他变量与缺失变量无关，则预测毫无意义；如果预测结果相当准确，则这个变量没有必要加入模型。通常介于两者之间。
3. 引入虚拟变量(dummy variable)来表征是否有缺失。
忽略。有一些模型，如随机森林，自身能够处理数据缺失的情况，在这种情况下不需要对缺失数据做任何的处理，这种做法的缺点是在模型的选择上有局限。

总而言之，大部分数据挖掘的预处理都会使用比较方便的方法来处理缺失值，比如均值法，但是效果上并一定好，因此还是需要根据不同的需要选择合适的方法，并没有一个解决所有问题的万能方法。具体的方法采用还需要考虑多个方面的：

数据缺失的原因；
数据缺失值类型；
样本的数据量；
数据缺失值随机性等；

Python中处理缺失值

删除

#删除数据表中含有空值的行
df.dropna(how='any')

均值填充

在这里插入图片描述
单变量值插补
sklearn提供了单变量插补的工具类SimpleImputer ，其提供了计算缺失值的基本策略。缺失值可以用提供的常数值计算，也可以使用缺失值所在的行/列中的统计数据(平均值、中位数或者众数)来计算。这个类也支持不同的缺失值编码。

参数说明：
- missing_values ：指定何种占位符表示缺失值，可选 number ，string ，np.nan(default) ，None
- strategy ：插补策略，字符串，默认"mean"
  - “mean” ：使用每列的平均值替换缺失值，只能与数字数据一起使用
  - “median”：则使用每列的中位数替换缺失值，只能与数字数据一起使用
  - “most_frequent” ：则使用每列中最常用的值替换缺失值，可以与字符串或数字数据一起使用
  - “constant” ：则用 fill_value 替换缺失值。可以与字符串或数字数据一起使用
- fill_value ：字符串或数值，默认"None"，当strategy ==“constant”时，fill_value用于替换所有出现的missing_values。如果保留默认值，则在输入数字数据时fill_value将为0，对于字符串或对象数据类型则为“missing_value”。
属性说明
- statistics_ ：每一个样本的插补值
- indicator_ ：指示用于为缺失值添加二进制指标

from sklearn.preprocessing import Imputer
import numpy as np
 
imputer = Imputer(missing_values='NaN', strategy="mean", axis=0)
 
duty_data = [[1,2,np.nan],[4,5,6],[7,np.nan,9],[10,11,12],[np.nan,14,15]]
 
imputed_data = imputer.fit_transform(duty_data)
 
print(imputed_data)
 
[[ 1.   2.  10.5]
 [ 4.   5.   6. ]
 [ 7.   8.   9. ]
 [10.  11.  12. ]
 [ 5.5 14.  15. ]]

使用python本身的代码

Python中的使用：
	#使用price均值对NA进行填充
	df['price'].fillna(df['price'].mean())
	df['price'].fillna(df['price'].median())
	df['price'].fillna(df['price'].mode())

多变量值插补
IterativeImputer类的功能是，将每个缺失值的特征建模为其他特征的函数，并使用该估计值进行估算。
它以循环迭代方式实现：在每个步骤中，将特征目标列指定为输出y，将其他列视为输入X。使用一个回归器来在已知（未缺失）ｙ的样本上对（Ｘ，ｙ）进行拟合。然后使用这个回归器来预测缺失的ｙ值。这是以迭代的方式对每个特征进行的，然后重复max_iter轮。最后一轮的计算结果被返回。
参数说明

estimator ：estimator对象，默认= BayesianRidge()。循环法插补的每一步使用的估算器。如果sample_posterior为True，则估算器必须支持 return_std其predict方法。
missing_values ：指定何种占位符表示缺失值，可选 number ，string ，np.nan(default) ，None
sample_posterior ：布尔值，默认为False，是否从每个插补的拟合估计的（高斯）预测后验进行采样。如果设置为True，Estimator 必须支持return_std 其predict 方法。True如果IterativeImputer用于多个插补，则设置为。
max_iter ：输入为int型数据，默认值是10。在返回最后一轮计算的估算值之前要执行的最大插补轮次数。
initial_strategy ：使用哪种策略初始化缺失值。与 SimpleImputer 中的strategy参数相同
imputation_order ：排序规则
- ascending ：从缺失值最少的功能到最多
- descending ：从具有最多缺失值的功能到最少
- roman ：左到右
- arabic ：右到左
- random ：随机顺序

imp = IterativeImputer(max_iter=10, random_state=0)
imp.fit([[1, 2], [3, 6], [4, 8], [np.nan, 3], [7, np.nan]])
X_test = [[np.nan, 2], [6, np.nan], [np.nan, 6]]
np.round(imp.transform(X_test))

KNN

首先将需要填补缺失值的特征x1提取出来，并把缺失值删除，剩下的值为train_y。将与x1缺失值有关的行删除，除x1以外的数据作为训练集train_x。训练集中不能有缺失值。
将x1中缺失值所在行，以外的数据作为test_x。

from sklearn.neighbors import KNeighborsClassifier,KNeighborsRegressor

def knn_missing_filled(train_x,train_y,test_x,k=3,dispersed=True):
    if dispersed:
        clf = KNeighborsClassifier(n_neighbors=k,weights='distance',n_jobs=-1)
    else:
        clf = KNeighborsRegressor(n_neighbors=k,weights='distance',n_jobs=-1)
    clf.fit(train_x,train_y)
    return test_x.index,clf.predict(test_x)
    
index,pred = knn_missing_filled(train_x,train_y,test_x,k=3,dispersed=True)
data.loc[index,'x1'] = pred

参数：

train_x和train_y：表示模型训练集的x和y
test：待填补的缺失样本
k：K近邻的K值，此处默认为3
dipersed：待填补的缺失变量是否离散，默认是，则用K近邻分类器，投票选出K个邻居中最多的类别进行填补；如为连续变量，则用K近邻回归器，拿K个邻居中该变量的平均值填补。

待填补数据集的行号，预测的用于填补的值

KNN模型参数：

n_neighbors-KNN的K，近邻个数
weights-样本的权重，
distance为用样本间的距离（默认欧式距离）作为权重，样本间距离越近越”重要“，
n_jobs-设置跑模型时，参与计算的cpu核心的个数，-1为建模时使用cpu的所有核心；
fit方法表示进行拟合模型的操作，predict表示作预测，事实上，大多数sklearn模型都有fit和predict方法，含义相同。

拟合填充

随机森林

这里是把缺失值这一特征当做目标特征进行回归预测。

from sklearn.ensemble import RandomForestRegressor

def set_missing_ages(df):
	#把数值型特征都放到随机森林里面去
    age_df=df[['Age','Fare','Parch','SibSp','Pclass']]
    known_age = age_df[age_df.Age.notnull()].as_matrix()
    unknown_age = age_df[age_df.Age.isnull()].as_matrix()
    y=known_age[:,0]#y是年龄，第一列数据
    x=known_age[:,1:]#x是特征属性值，后面几列
    rfr=RandomForestRegressor(random_state=0,n_estimators=2000,n_jobs=-1)
    #根据已有数据去拟合随机森林模型
    rfr.fit(x,y)
    #预测缺失值
    predictedAges = rfr.predict(unknown_age[:,1:])
    #填补缺失值
    df.loc[(df.Age.isnull()),'Age'] = predictedAges
    
    return df,rfr

虚拟变量

具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量。比如，特征为A含有缺失值，我们衍生出一个新的特征B，如果A中特征值有缺失，那么相应的B中的值为1，如果A中特征值没有缺失，那么相应的B中的值为0

data_train['CabinCat'] = data_train['Cabin'].copy()
data_train.loc[ (data_train.CabinCat.notnull()), 'CabinCat' ] = "No"
data_train.loc[ (data_train.CabinCat.isnull()), 'CabinCat' ] = "Yes"

fig, ax = plt.subplots(figsize=(10,5))
sns.countplot(x='CabinCat', hue='Survived',data=data_train)
plt.show()

data_train[['Cabin','CabinCat']].head(10)

在这里插入图片描述

文献参考

https://blog.csdn.net/The_Time_Runner/article/details/88828502
https://blog.csdn.net/lujiandong1/article/details/52654703
http://118.31.76.100:100/math/statics_topic/deal-na/
https://zhuanlan.zhihu.com/p/40775756
https://www.zhihu.com/question/26639110/answer/145701770
https://blog.csdn.net/qq_38958113/article/details/98220246
https://mp.weixin.qq.com/s?__biz=MzIzNDk0ODIxNg==&mid=2247483697&idx=1&sn=769babea47a36fcd2eb27e9b5586b227&chksm=e8efd226df985b3049d98471c463705161e8c2412e28e5f5d09dc6e68c675875799bc56d9621&mpshare=1&scene=1&srcid=1019sGnZIzqL4buSlqvXwydT#rd

AvenueCyy

关注

20
点赞
踩
137

收藏

觉得还不错? 一键收藏
0
评论
数据挖掘：数据清洗——缺失值处理

数据挖掘：数据预处理——缺失值处理一、什么是缺失值缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类、分组、删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。而在数据处理的过程中，缺失值不仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如，在系统中用-999来表示数值不存在）。说明：None是一个python特殊的数据类型。不同于空列表和空字符串，是一种...
复制链接

扫一扫