常见的数据重复包括:
1.记录重复--一个或多个特征的某条记录的值完全相同
2.特征重复--存在一个或者多个特征名称不同,但数据完全相同的情况
去除特征重复的2种方法
1.通过相似度矩阵去重
要去除连续的特征重复,可以利用特征间的相似度将两个相似度为1的特征去除一个。在pandas中,相似度的计算方法为corr。使用该方法计算相似度时,默认为pearson方法,可以改为spearman法和kendall法。
通过相似度矩阵去重存在一个弊端,该方法只能对数值型重复特征去除,类别型特征之间无法通过计算相似系数来衡量相似度。
2.通过DataFrame.equals方法进行特征去重
可以通过DataFrame.equals方法去重
# coding: utf-8
# 去除‘记录重复’的3种方法
# 法1---利用list去重
import pandas as pd
detail=pd.read_csv(r'D:\save\detail.csv',index_col=0,encoding='gbk')
# 去除‘特征重复’的2种方法
# 法1---通过相似度矩阵去重
# 求取售价和销量的相似度
corrDet=detail[['counts','amounts']].corr(method='kendall')
print('售价和销量的kendall法相似度矩阵为:\n',corrDet)
# 法2---通过DataFrame.equals方法进行特征去重
# 定义求取特征是否完全相同的矩阵的函数
def FeatureEquals(df):
dfEquals=pd.DataFrame([],columns=df.columns,index=df.columns)
for i in df.columns:
for j in df.columns:
dfEquals.loc[i,j]=df.loc[:,i].equals(df.loc[:,j])
return dfEquals
detEquals=FeatureEquals(detail)
print('detail的特征相等矩阵的前5行5列为:\n',detEquals.iloc[:5,:5])
# 通过遍历的方式进行数据筛选
lenDet=detEquals.shape[0]
dupCol=[]
for k in range(lenDet):
for l in range(k+1,lenDet):
if detEquals.iloc[k,l]& (detEquals.columns[l] not in dupCol):
dupCol.append(detEquals.columns[l])
# 进行去重
print('需要删除的列为',dupCol)
detail.drop(dupCol,axis=1,inplace=True)
print('删除多余列后detail的特征数目为:',detail.shape[1])