python对文件内容的去重

python对文件内容的去重

---

---

前言

很多时候我们获取的数据存在大量重复，重复数据在进一步处理时会降低处理效率，且可能导致错误，因此内容去重是数据处理一个重要步骤。

---

实现步骤

通过list的set()和sort()函数对于数据进行顺序去重，读取文件夹中的所有文件，生成文件列表，读取文件内容列表，进行去重和按原索引顺序排序。

首先我们需要将所有需要去重的文件列举出来，通过os库的walk()函数可以获取路径下的所有文件和路径名

import os
def all_txt(dir1):
    result=[]
    for maindir, subdir, file_name_list in os.walk(dir1):