读取文件编码错误

由于python中默认的编码是ascii,如果直接使用open方法得到文件对象然后进行文件的读写,都将无法使用包含中文字符(以及其他非ascii码字符),因此建议使用utf-8编码。为了避免读写错误,可以直接使用codecs模块。

下面的代码读取了文件,将每一行的内容组成了一个列表。 

import codecs
file = codecs.open('test.txt','r','utf-8')
lines = [line.strip() for line in file] 
file.close()open('test.txt','r','utf-8')
lines = [line.strip() for line in file] 
file.close()

下面的代码写入了一行英文和一行中文到文件中。 

import codecs
file = codecs.open('test.txt','w','utf-8')
file.write('Hello World!\n')
file.write('哈哈哈\n')
file.close()open('test.txt','w','utf-8')
file.write('Hello World!\n')
file.write('哈哈哈\n')
file.close()

chardet;针对文本内容,判断编码样式

获取网页编码格式后,我们便可以对网页内容进行解码,再编码成统一的格式进行处理。

import urllib2
import chardet
import time
response = urllib2.urlopen('http://www.simmerchan.me/')
content = response.read()
t = time.time()
charset = chardet.detect(content[:400])['encoding']
content = content.decode(charset, 'ignore').encode('utf-8')

 ignore参数是为了忽视那些无法被解码为unicode的字符,如果不加此参数则可能会出现类似下面的错误

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 61399-61400: illegal multibyte sequen
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页