python完全重复数据去重_python找出数据中的重复数据

在python中set(集合)是和数学意义上的集合一样，不允许元素重复，因此可以将list转为set去重，当然这样比较粗暴，不清楚哪些数据是重复的。

如果要找出哪些元素是重复的，可以用pandas库的dataframe数据结构，用drop_duplicates方法进行去重。原理是这样：drop_duplicates方法可以完全清除重复元素，比如[1, 2, 2, 3]，经过drop_duplicates(keep=false)方法之后会变为[1, 3]，keep=false表示会去除所有重复，包括被重复元素本身；keep='first'表示会保留一个重复元素，即保留被重复元素，上面例子会变为[1, 2 ,3]。然后将两次去重后的数据拼接在一起，此时新的合集中元素重复会反转，原来数据不重复的都将重复，重复的数据变为不重复，此时再对新的合集进行完全去重即可取出重复元素，伪代码实例如下：

a = [1, 2, 2, 3]

a.drop_duplicates(keep=false) => b = [1, 3]

a.drop_duplicates(keep='first') => c = [1, 2, 3]

d = b.append(c) => d = [1, 1, 2, 3, 3]

d.drop_duplicates(keep=false) => [2]

如果要指定某列可以用subset，默认为none，所有列。

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)