假设在Excel表格中,存在相同公司的多行数据,但其中的‘数据来源’列的值却不同。现在需要将这些重复数据去重,并将它们的‘数据来源’合并到一起,作为一条新的记录。
import pandas as pd
# 读取 Excel 文件
df = pd.read_excel("example.xlsx")
# 按 "公司" 列进行分组,并将 "数据来源" 列中的多个值合并为一个字符串
df_grouped = df.groupby("公司", as_index=False).agg({"数据来源": lambda x: ",".join(x.unique())})
# 将处理后的数据与原始数据合并
df_merged = pd.merge(df, df_grouped, on="公司")
# 删除重复的公司名称行,只保留其中一行
df_merged.drop_duplicates(subset="公司", keep="first", inplace=True)
# 将筛选后的数据保存到新文件
df_merged.to_excel("example_merged_unique.xlsx", index=False)
在这个代码中,我们首先使用与之前相同的方法对数据进行处理和合并。然后使用 drop_duplicates()
方法去重,指定按照 公司
列去除重复行,保留第一次出现的行。最后将筛选后的数据保存到新文件中。
需要注意的是,由于我们在原 DataFrame 上进行了操作,因此需要设置 inplace=True
参数才能使去重后的结果直接应用到原 DataFrame 中。如果不设置该参数,则返回一个新的 DataFrame,原 DataFrame 不会被修改。