python编码问题总结

    最近利用python抓取一些网上的数据，遇到了编码的问题。非常头痛，总结一下用到的解决方案。

•     linux中vim下查看文件编码的命令 set fileencoding
•     python中一个强力的编码检测包 chardet ，使用方法非常简单。linux下利用pip install chardet实现简单安装

    

1 2 3 4

import  chardet f =  open ( 'file' , 'r' ) fencoding = chardet.detect(f.read()) print  fencoding

　　fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ，只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

•       了解python中str的编码后可以利用decode和encode来实现编码的转换。

      一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型，然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型，如下。

     

•  一般情况下window默认编码gbk，linux默认编码utf8
•  python编程中 系统编码，python编码，文件编码 的概念。

     系统编码：默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

     python编码：指python内设置的解码方式。如果不设定的话，python默认的是ascii解码方式。如果python源代码文件中不出现中文的话，这个地方怎么设定应该不会问题。

     设定方法：在源码文件开头（一定是第一行）：#-*-coding:UTF-8-*-，源码文件的设置解码方式是UTF-8 或者

1 2 3

import  sys reload (sys) sys.setdefaultencoding( 'UTF-8' )

     文件编码：文本的编码方式，linux下vim利用set fileencoding查看。

    

•     一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。

    比如print s, s类型为str，linux系统下系统默认编码为utf8编码，s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

    window下面情况相同，window默认编码为gbk编码，所以s输出前必须编码为gbk。

•     python处理中一般处理unicode类型。这样输出前直接编码即可。

以后整理规范

[python]  view plain copy

1. import os  
2. import codecs  
3. filenames=os.listdir(os.getcwd())  
4.   
5. out=file("name.txt","w")  
6. for filename in filenames:  
7.     out.write(filename.decode("gb2312").encode("utf-8"))  
8. out.close()  

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存

如果采用ANSI编码保存，用如下代码写入即可：

[python]  view plain copy

1. out.write(filename)  

打开文件并写入

引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

[python]  view plain copy

1. import codecs  
2. file=codecs.open("lol.txt","w","utf-8")  
3. file.write(u"我")  
4. file.close()  

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt，文件格式用ANSI，内容为:
abc中文
用python来读取

# coding=gbk
print open("Test.txt").read()

结果：abc中文

读取utf-8编码文件（无BOM）

把文件格式改成UTF-8：
结果：abc涓 枃
显然，这里需要解码：
# -*- coding: utf-8 -*-
import codecs
print open("Test.txt").read().decode("utf-8")
结果：abc中文

读取utf-8编码文件（有BOM）

某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：

[python]  view plain copy

1. # -*- coding: utf-8 -*-  
2. import codecs  
3. data = open("Test.txt").read()  
4. if data[:3] == codecs.BOM_UTF8:  
5.     data = data[3:]  
6. print data.decode("utf-8")  

结果：abc中文

在看下面的例子：

[python]  view plain copy

1. # -*- coding: utf-8 -*-  
2. data = open("name_utf8.txt").read()  
3. u=data.decode("utf-8")  
4. print u[1:]  

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。

注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。

更多详细内容：http://eatsalt.blog.163.com/blog/static/87940266200941483413540/

设置python默认编码

[python]  view plain copy

1. import sys  
2. reload(sys)  
3. sys.setdefaultencoding("utf-8")  
4. print sys.getdefaultencoding()  

今天碰到了 python 编码问题, 报错信息如下
Traceback (most recent call last):
  File "ntpath.pyc", line 108, in join
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:

在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了.  在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')

[python]  view plain copy

1. import sys  
2. reload(sys)  
3. sys.setdefaultencoding("utf-8")  
4. print sys.getdefaultencoding()  

确实有效, 根据 limodou 讲解,  site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺啰嗦的.

==================================
如何永久地将默认编码设置为utf-8呢?  有2种方法: 
==================================
第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8 
第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下
sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding().

import sys   
sys.setdefaultencoding('utf-8')

既然 sitecustomize.py 能被自动加载,  所以除了设置编码外, 也可以设置一些其他的东西

字符串的编码

s1='中文'

像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：

1 s1 = u'中文'
2 s2 = unicode('中文','gbk')
3 s3 = s1.decode('gbk')

unicode是一个内置函数，第二个参数指示源字符串的编码格式。
decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。
encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。

详细参考：http://www.cnblogs.com/springbarley/articles/2338501.html