python 去除txt重复的行数据

可以使用 Python 的 set 类型来实现这个功能。

首先，需要打开文件并读取所有行，然后将每行数据添加到一个 set 中。set 会自动去除重复的数据，所以最后得到的 set 就是去重后的数据。最后，可以将 set 中的数据写回到文件中。

以下是一个例子：

# 打开文件并读取所有行
with open('data.txt', 'r') as f:
    lines = f.readlines()

# 将所有行添加到 set 中
lines_set = set(lines)

# 将 set 中的数据写回到文件中
with open('data.txt', 'w') as f:
    for line in lines_set:
        f.write(line)

如果你想要保留文件中原有的行顺序，可以使用 collections 模块中的 OrderedDict 类型。这个类型类似于字典，但是保留了元素添加的顺序。

# 导入 OrderedDict 类型
from collections import OrderedDict

# 打开文件并读取所有行
with open('data.txt', 'r') as f:
    lines = f.readlines()

# 将所有行添加到 OrderedDict 中
lines_dict = OrderedDict.fromkeys(lines)

# 将 OrderedDict 中的数据写回到文件中
with open('data.txt', 'w') as f:
    for line in lines_dict:
        f.write(line)