python数据合并+去重处理

python数据合并+去重处理

需求：

1.读表。
2.分析数据是否有重复值。
3.再合并数据时两个表的样式或者数据内容的格式要一致，否则数据在合并时回出现重复数据现象。

#author:Admin@1230456
#cratedate:2022/7/31

import pandas as pd
import time

start=time.perf_counter()

df=pd.read_excel('分析专题-（地市汇总）0727.xlsx',sheet_name='sheet1')
df1=pd.read_excel('分析专题-数据（地市汇总）0727.xlsx',sheet_name='Sheet2')
# print(df)
# print(df1)
# 开始合并数据表
tb_hb=pd.concat([df,df1],axis=0)
tb_hb.drop_duplicates(inplace=True)#数据做去重保留第一次出现的数据
tb_hb.to_excel("合并表1.2.xls",sheet_name='Sheet1',index=False,header=True)
print("成功！")
end = time.perf_counter()
print("运行时间:%0.0f秒" % (end - start))

数据合并之后截图

数据未合并截图