在使用python命令行读取文件的时候很容易由于字符编码造成各种问题,下面是读取文件的的时候遇到的一个问题:
text = open("C:/Users/Administrator/Desktop/out.txt",'r')
lines = text.readlines()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode byte 0xb4 in position 31: illegal multibyte sequence
其中,关于open的编码解释如下:
读取时:内置的open()方法打开文件时,read()读取的是str,读取后需要使用正确的编码格式进行decode()。write()写入时,如果参数是unicode,则需要使用你希望写入的编码进行encode(),如果是其他编码格式的str,则需要先用该str的编码进行decode(),转成unicode后再使用写入的编码进行encode()。如果直接将unicode作为参数传入write()方法,Python将先使用源代码文件声明的字符编码进行编码然后写入。
编码时:模块codecs提供了一个open()方法,可以指定一个编码打开文件,使用这个方法打开的文件读取返回的将是unicode。写入时,如果参数是unicode,则使用open()时指定的编码进行编码后写入;如果是str,则先根据源代码文件声明的字符编码,解码成unicode后再进行前述操作。相对内置的open()来说,这个方法比较不容易在编码上出现问题。
所以可以在读取的时候指定编码,这样可以避免很多问题,如下:
# coding: GBK
import codecs
f= codecs.open('test.txt', encoding='UTF-8')
u= f.read()
f.close()
print type(u)# <type 'unicode'>
f= codecs.open('test.txt','a', encoding='UTF-8')
# 写入unicode
f.write(u)
# 写入str,自动进行解码编码操作
# GBK编码的str
s= '汉'
print repr(s)# '\xba\xba'
# 这里会先将GBK编码的str解码为unicode再编码为UTF-8写入
f.write(s)
f.close()
原文:https://blog.csdn.net/qq_23953717/article/details/78434292