Python读取文件字符编码问题

         在使用python命令行读取文件的时候很容易由于字符编码造成各种问题，下面是读取文件的的时候遇到的一个问题：

text = open("C:/Users/Administrator/Desktop/out.txt",'r')

lines = text.readlines()

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode byte 0xb4 in position 31: illegal multibyte sequence

       其中，关于open的编码解释如下：

     读取时：内置的open()方法打开文件时，read()读取的是str，读取后需要使用正确的编码格式进行decode()。write()写入时，如果参数是unicode，则需要使用你希望写入的编码进行encode()，如果是其他编码格式的str，则需要先用该str的编码进行decode()，转成unicode后再使用写入的编码进行encode()。如果直接将unicode作为参数传入write()方法，Python将先使用源代码文件声明的字符编码进行编码然后写入。

    编码时：模块codecs提供了一个open()方法，可以指定一个编码打开文件，使用这个方法打开的文件读取返回的将是unicode。写入时，如果参数是unicode，则使用open()时指定的编码进行编码后写入；如果是str，则先根据源代码文件声明的字符编码，解码成unicode后再进行前述操作。相对内置的open()来说，这个方法比较不容易在编码上出现问题。

   所以可以在读取的时候指定编码，这样可以避免很多问题，如下：

# coding: GBK

 

import  codecs

 

f =  codecs. open ( 'test.txt' , encoding = 'UTF-8' )

u =  f.read()

f.close()

print  type (u) # <type 'unicode'>

 

f =  codecs. open ( 'test.txt' , 'a' , encoding = 'UTF-8' )

# 写入unicode

f.write(u)

 

# 写入str，自动进行解码编码操作

# GBK编码的str

s =  '汉'

print  repr (s) # '\xba\xba'

# 这里会先将GBK编码的str解码为unicode再编码为UTF-8写入

f.write(s)

f.close()