python数据合并+去重处理
需求:
1.读表。
2.分析数据是否有重复值。
3.再合并数据时两个表的样式或者数据内容的格式要一致,否则数据在合并时回出现重复数据现象。
#author:Admin@1230456
#cratedate:2022/7/31
import pandas as pd
import time
start=time.perf_counter()
df=pd.read_excel('分析专题-(地市汇总)0727.xlsx',sheet_name='sheet1')
df1=pd.read_excel('分析专题-数据(地市汇总)0727.xlsx',sheet_name='Sheet2')
# print(df)
# print(df1)
# 开始合并数据表
tb_hb=pd.concat([df,df1],axis=0)
tb_hb.drop_duplicates(inplace=True)#数据做去重保留第一次出现的数据
tb_hb.to_excel("合并表1.2.xls",sheet_name='Sheet1',index=False,header=True)
print("成功!")
end = time.perf_counter()
print("运行时间:%0.0f秒" % (end - start))
数据合并之后截图
数据未合并截图