Python读取CSV 文件 去掉重复数据

安装 xlrd 模块 和 pandas 模块

pip3 install xlrd
pip install pandas

Python 文件 导入pandas模块

import pandas as pd

读取文件 按照需要去重的列名去重数据

import csv                   #导入pandas包


data = pd.read_csv("E:/test.csv")             #读取csv文件
   
dateMap = []

for i in range(len(data)):
    dateMap.append(data["门店编号"][i])
    
print("去重复前数量："+len(data).__str__())
formatList = list(set(dateMap))
formatList.sort(key=dateMap.index)

print("去重复后数量："+len(formatList).__str__() )

控制台输出为