python 去除txt文本内容重复值

python 去除txt文本内容重复值

将需要去除重复值的txt文本文档，命名为 text.txt 
运行py文件后，会生成 "去除重复值后的文本.txt"

def remove_duplicates():
    f_read=open(r'./text.txt','r',encoding='utf-8')     #将需要去除重复值的txt文本重命名text.txt
    f_write=open(r'./去除重复值后的文本.txt','w',encoding='utf-8')  #去除重复值之后，生成新的txt文本 --“去除重复值后的文本.txt”
    data=set()
    for a in [a.strip('\n') for a in list(f_read)]:
        if a not in data:
            f_write.write(a+'\n')
            data.add(a)
    f_read.close()
    f_write.close()
remove_duplicates()
print('完成')

例子：

执行完成后，重复值已删除