python3.4.3下逐行读入txt文本并去重

最新推荐文章于 2024-08-01 13:25:03 发布

水似冰

最新推荐文章于 2024-08-01 13:25:03 发布

阅读量1w

点赞数 2

分类专栏： python 文章标签： python 编码

本文链接：https://blog.csdn.net/qq_30650153/article/details/77894942

版权

本文介绍了在Python3.4.3环境下如何逐行读取TXT文件并实现内容去重。内容涵盖文件读写时注意的字符编码、文件关闭以及代码兼容性问题。通过示例代码展示了几种去重方法，并强调了在Python2和Python3中处理文件编码的差异及解决方案。

摘要由CSDN通过智能技术生成

逐行读取TXT文档并去重

读写文件时应注意的问题包括：

1.字符编码
2.操作完成即时关闭文件描述符
3.代码兼容性

几种方法：

#!/bin/python3

original_list1=[" "]
original_list2=[" "]
original_list3=[" "]
original_list4=[" "]
newlist1=[" "]
newlist2=[" "]
newlist3=[" "]
newlist4=[" "]
newtxt1=""
newtxt2=""
newtxt3=""
newtxt4=""

#first way to readline
f = open("duplicate_txt.txt","r+")       # 返回一个文件对象   
line = f.readline()              		 # 调用文件的 readline()方法  
while line:   
	original_list1.append(line)                   
	line = f.readline()    
f.close() 

#use "set()" remove duplicate str in the list
# in this way,list will sort randomly
newlist1 = list(set(