csv数据根据某一列内容删除重复行
利用Python爬虫获取了csv格式的数据,但数据每一行有重复内容,需要把含有重复项的整行删除掉,按照某列的内容删除重复行(按照整行同理),代码如下(按照自己的路径修改代码中路径即可):
import csv
if __name__ == '__main__':
inpath='C:/Users/Administrator/Desktop/爬虫汇总.csv'
outpath='C:/Users/Administrator/Desktop/数据删除重复行.csv'
i= 0
finished = []