python中df去重_数据预处理之一些需要去重的情况处理(usingPython)

在数据分析中，有时候因为一些原因会有重复的记录，因此需要去重。如果重复的那些行是每一列懂相同的，删除多余的行只保留相同行中的一行就可以了，这个在Excel或pandas中都有很容易使用的工具了，例如Excel中就是在菜单栏选择数据->删除重复值，然后选择根据哪些列进行去重就好，pandas中是有drop_duplicates()函数可以用。

但面对一些复杂一些的需求可能就不是那么容易直接操作了。例如根据特定条件去重、去重时对多行数据进行整合等。特定条件例如不是保留第一条也不是最后一条，而是根据两列存在的某种关系、或者保留其中最大的值、或保留评价列文字最多的行等。下面记录一种我遇到的需求：因为设计原因，用户在购物车下的单每个商品都会占一条记录，但价格只记录当次购物车总价，需要每个这样的单子只保留一条记录，但把商品名称整合起来。

抽象一下，相当于把下面的表df根据uid去重，但是每个uid对应的name整合在一行里(暂且不管date列)，从图1的左边变成右边效果：

图1, 去重前后效果示例

这个不能直接由drop_duplicates()，那就写代码自己实现吧，因为是根据uid去重，我的思路是对uid进行循环，把uid相同的聚在一起，在if条件中选择保存的行并把name整合起来，建个新表保存去重后的行，

ndf=pd.DataFrame(columns=df.columns) #根据df