用python处理数据去重

假设在Excel表格中，存在相同公司的多行数据，但其中的‘数据来源’列的值却不同。现在需要将这些重复数据去重，并将它们的‘数据来源’合并到一起，作为一条新的记录。

import pandas as pd

# 读取 Excel 文件
df = pd.read_excel("example.xlsx")

# 按 "公司" 列进行分组，并将 "数据来源" 列中的多个值合并为一个字符串
df_grouped = df.groupby("公司", as_index=False).agg({"数据来源": lambda x: ",".join(x.unique())})

# 将处理后的数据与原始数据合并
df_merged = pd.merge(df, df_grouped, on="公司")

# 删除重复的公司名称行，只保留其中一行
df_merged.drop_duplicates(subset="公司", keep="first", inplace=True)

# 将筛选后的数据保存到新文件
df_merged.to_excel("example_merged_unique.xlsx", index=False)

在这个代码中，我们首先使用与之前相同的方法对数据进行处理和合并。然后使用 drop_duplicates() 方法去重，指定按照 公司 列去除重复行，保留第一次出现的行。最后将筛选后的数据保存到新文件中。

需要注意的是，由于我们在原 DataFrame 上进行了操作，因此需要设置 inplace=True 参数才能使去重后的结果直接应用到原 DataFrame 中。如果不设置该参数，则返回一个新的 DataFrame，原 DataFrame 不会被修改。