Python重复值的处理

1.查看 dataframe 对象 df 是否有重复行，使用 df.duplicated()。该语句会返回一个 bool 值。

2.删除 df 的重复数据行，使用 df.drop_duplicates()。返回值为一个删除重复行的 dataframe 对象。

看具体的代码演示：

#创建一个dataframe对象
df1=pd.DataFrame(np.arange(16).reshape(4,4),
                 index = pd.date_range('20200101', periods = 4),  
                 columns=list('ABCD'))
#查看对象
print(df1)
#创建一个要添加的对象
s =df1[:1]
#使用append函数将s附加到df1后面
df_test = df1.append(s)
#查看重复的行有哪一些
print(df_test.duplicated())
#删除重复的行
df_test.drop_duplicates()

输出结果如下，分别为添加前和添加后的样子：

print(df_test.duplicated()) 的输出：

使用 df.drop_duplicates(inplace=True) 删除后的结果：