python文本去重函数,python3.4.3下逐行读入txt文本并去重的方法

读写文件时应注意的问题包括：

1.字符编码

2.操作完成即时关闭文件描述符

3.代码兼容性

几种方法：

python" id="highlighter_859097">

结果：

去重前：

去重后(无序)：

去重后(有序)：

总结

这段下程序涉及文件读写操作以及链表list的操作，文章开头提到的几个问题，由于并没有使用中文，所以不关心编码，但这里还是要提一提:

上面这段代码如果在python2中运行会报错

报错是因为程序没办法直接保存unicode字符串，要经过编码转换成str类型的二进制字节序列才可以保存。

write()方法会自动编码转换，默认使用ascii编码格式，而ascii不能处理中文，所以出现unicodeencodeerror。

正确方式是在调用write()方法前，手动格式转换，用utf-8或者gbk转换成str。

关于close()问题:

不关闭会有什么影响呢？操作完成后，不关闭文件，会对系统资源造成浪费，因为系统可打开的文件描述符数量是有限的。linux是65535。

一般来说close之后就ok了，但是也会存在特殊情况，比如说，在调用open()函数时就已经发生错误，权限不足，调用close()肯定报错。还有一种是在write()时，如果磁盘空间不足，报错，close()就没有机会执行了。正确的做法就是使用 try except 对异常进行捕获：

更优雅的写法是用 with…as。

文件对象实现上下午管理器协议，程序进入with语句时，会把文件对象赋值给变量f，在程序退出with时会自动的调用close()方法。

关于兼容性问题:

python2和python3的open()函数是不一样的，后者可以在函数中指定字符编码格式。

如何解决python2和python3的兼容open()问题呢？

使用io模块下的open()函数，python2中的io.open等价与python3的open函数

以上这篇python3.4.3下逐行读入txt文本并去重的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。

原文链接：https://blog.csdn.net/qq_30650153/article/details/77894942