读取文件编码错误

由于python中默认的编码是ascii，如果直接使用open方法得到文件对象然后进行文件的读写，都将无法使用包含中文字符（以及其他非ascii码字符），因此建议使用utf-8编码。为了避免读写错误，可以直接使用codecs模块。

读

下面的代码读取了文件，将每一行的内容组成了一个列表。 

import codecs
file = codecs.open('test.txt','r','utf-8')
lines = [line.strip() for line in file] 
file.close()open('test.txt','r','utf-8')
lines = [line.strip() for line in file] 
file.close()

写

下面的代码写入了一行英文和一行中文到文件中。 

import codecs
file = codecs.open('test.txt','w','utf-8')
file.write('Hello World!\n')
file.write('哈哈哈\n')
file.close()open('test.txt','w','utf-8')
file.write('Hello World!\n')
file.write('哈哈哈\n')
file.close()

chardet；针对文本内容，判断编码样式

获取网页编码格式后，我们便可以对网页内容进行解码,再编码成统一的格式进行处理。

import urllib2
import chardet
import time
response = urllib2.urlopen('http://www.simmerchan.me/')
content = response.read()
t = time.time()
charset = chardet.detect(content[:400])['encoding']
content = content.decode(charset, 'ignore').encode('utf-8')

 ignore参数是为了忽视那些无法被解码为unicode的字符，如果不加此参数则可能会出现类似下面的错误

UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 61399-61400: illegal multibyte sequen