一文搞懂pandas中的去重

最新推荐文章于 2024-05-24 20:45:17 发布

爱琢磨先森

最新推荐文章于 2024-05-24 20:45:17 发布

阅读量1k

点赞数

文章标签： pandas学习

本文链接：https://blog.csdn.net/m0_37952909/article/details/89189558

版权

本文介绍如何在Pandas中进行数据去重操作。通过分析数据集A和B，找出B中不包含在A中的独特数据。核心是消除B与A共有的部分，即数据集C。参考提供的CSDN博客链接，可以找到详细解决方案。

摘要由CSDN通过智能技术生成

有两个数据集A和B，找出数据集B中不属于数据集A中的数据，如下图所示：

数据集A=A+B B=B+C C为A和B重复的数据主要要过滤掉B中的C即可求解问题

#首先需要对A和B去重
A=pd.DataFrame(np.random.randint(0,9,5),columns=['a'])
B=pd.DataFrame(np.random.randint(0,9,5),columns=['a'])
A
   a
0  4
1  4
2  3
3  8
4  1
B
   a
0  8
1  8
2  6
3  6
4  8

#对A和B进行去重
A=A.drop_duplicates(subset=['a'],keep='first')
B=B.drop_duplicates(subset=['a'],keep='first')
A
   a
0  4
2  3
3  8
4  1
B
   a
0  8
2  6


#将两个DataFrame合并成一个 重新索引
df1=A.append(B,ignore_index=True)
df1
   a
0  4
1  3
2  8
3  1
4  8
5  6

#获取A和B中重复的数据C
C=df1[df1.duplicated(subset=['a'],keep='first')]
C
   a
4  8
#ABC表示A和B中的所有元素 都是唯一值 已经去除了重复的数据
ABC=df1[