数据预处理（2）

最新推荐文章于 2024-07-09 14:17:32 发布

a尼

最新推荐文章于 2024-07-09 14:17:32 发布

阅读量211

点赞数

分类专栏： python 文章标签：数据挖掘

本文链接：https://blog.csdn.net/m0_56094505/article/details/119706708

版权

python 专栏收录该内容

24 篇文章 4 订阅

订阅专栏

该博客介绍了如何进行数据预处理中的缺失值分析。首先通过读取CSV文件并使用matplotlib进行缺失值比例的可视化，展示了缺失值占比低于80%的列。接着，使用pandas的dropna函数删除了超过80%数据为空的列，并进一步处理方差为0的特征，以优化数据集。最后，检查了删除的特征数量，确保数据清理的合理性。

摘要由CSDN通过智能技术生成

泰迪杯

#缺失值可视化   
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
D=pd.read_csv(r'D:\挑战杯\flag.csv',encoding='gbk')
#统计原表中的总列数D1,空值占全部数据的80%以下的列数
D1=D.iloc[::].count()/D.shape[0]
D2=D1[D1>0.2]
D=D[D2.index]
print(D1.shape[0],D2.shape[0])
#绘图
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签
plt.rcParams['axes.unicode_minus']=False   #解决负号“-”显示为方块的问题
plt.figure(figsize=(30,20),dpi=80)
plt.tick_params(labelsize=30)
plt.plot(D1)
plt.savefig('缺失值.png')
plt.show()

在这里插入图片描述
【图片解释】
y轴接近1代表缺失值越少

缺失值处理

方法：导入所有的数据（确保删除的列一致），把列【特征】缺失值大于80%的一整列去掉

import pandas as pd
import numpy as np

data=pd.read_csv(r'C:\Users\44933\Desktop\数据挖掘材料\全部数据\alldata.csv',encoding='gbk')[:,:-1]

percent=0.2
print('删除80%有缺失值得函数，去除方差为0的列')
data.dropna(axis=1,how='any',thresh=percent*len(data),subset=None,inplace=True)
name=data.columns.to_list()[2:]
for j in name:
    var=np.var(data[j], axis=0)
    if var == 0:
        print(j)
        data.drop([j],axis=1,inplace=True)
data.shape #查看删除的特征多不多，如果太多了可以把80%往上调