关于Python文档读取UTF-8编码文件问题

最新推荐文章于 2024-08-07 02:05:30 发布

qq13650793239

最新推荐文章于 2024-08-07 02:05:30 发布

阅读量4.9k

点赞数 1

分类专栏： python基础

本文链接：https://blog.csdn.net/qq13650793239/article/details/81282591

版权

python基础专栏收录该内容

5 篇文章 0 订阅

订阅专栏

引用codecs模块，来判断前三个字节是否为BOM_UTF8。如果是，则剔除\xef\xbb\xbf字节

import codecs
def download_ipurl(self,destpath):
    try:
        f = open(destpath,'r')
        iter_f = iter(f)
        lines = 0
        for ipurl in iter_f:
            lines = lines + 1
            if ipurl[0:3] == codecs.BOM_UTF8:    
                self.newipurls.add((ipurl.rstrip('\r\n')).lstrip('\xef\xbb\xbf'))
        #print self.newipurls
        #log记录读取了多少行IP url
        #print lines
    finally:
        if f:
            f.close()