KNN缺失填补knnimpute/impyute/fancyimpute

最新推荐文章于 2024-09-17 21:19:44 发布

Great1414

最新推荐文章于 2024-09-17 21:19:44 发布

阅读量2.4w

点赞数 12

分类专栏：数据分析机器学习算法文章标签：数据缺失填补 fancyimpute impyute KNN缺失填补 EM

本文链接：https://blog.csdn.net/weixin_41512727/article/details/83180661

版权

本文介绍了Python中处理数据缺失值的两种库——impyute和fancyimpute，特别是关注KNN方法。KNN填充可以分为分类和回归，通过选择合适的K值和距离权重来填补缺失值。在sklearn包中可以找到KNN相关的实现。

摘要由CSDN通过智能技术生成

常见的数据缺失填充方式分为很多种，比如删除法、均值法、回归法、KNN、MICE、EM等等。R语言包中在此方面比较全面，python稍差。

目前已有的两种常见的包，第一个是impyute，第二个是fancyimpute,具体的内容请百度，此方面的例子不是很多。比如fancyimpute中也集成了很多方式，包括均值、众数、频数填充，KNN填充、MCMC填充等。

本文主要对其中几种情况做个简单的介绍和附上相关的连接。

1. impyute/fancyimpute

两者为python的包，需要安装，里面集成了多种方法。具体的方法参见链接。

如果要使用fancyimpute，需要构造数据格式。下面是我构造的格式，如果你有其他的好办法，请留言。谢谢。

import pandas as pd
import numpy as np
from fancyimpute import KNN
import re
#KNN缺失数据填补
def knn_filled(df1) :
    #数据
    df = pd.read_csv("xxx.csv")
    #缺失填补
    if df.sump.isnull().any():#判断数据是否有null
        data = pd.DataFrame()
        for i in range(0,df.shape[0],6):# 以60分钟为周期分段（10分钟粒度, 6个为周期）
            data1 &#