Python 编码整合

1. 网页抓取编码正确设置

怎么避免UnicodeEncodeError: ‘ascii’ codec can’t…类似的错误？

1、首先在py文件头部指定文件内容编码，例如：# coding: utf8

2、文件保存的时候要和py文件头部编码一致

3、在用decode和encode的时候，一定要确认要转换的字符原编码是什么。

例如：网页中都会指定编码(<meta http-equiv=content-type content=”text/html; charset=gb2312″>), 你在抓取这个网站并获取它的html后进行编码转化就要注意了:

import urllib2

html = urllib2.urlopen(url)

html = html.decode(‘gb2312′)

只要做上面三个就不会出现转换编码错误了

python建议，在python代码中最好所有变量都是unicode;     流程可以这么写： 变量(转换成unicode)——>python代码——–>变量(转换成其他编码)

sys.getdefaultencoding():系统的缺省编码(一般就是ascii),python默认语言的编码是ascii编码, 这就是为什么在py文件的头部都要指定编码了# coding:utf-8

Python获取系统编码参数的几个函数

系统的缺省编码(一般就是ascii)：sys.getdefaultencoding()
系统当前的编码：locale.getdefaultlocale()
系统代码中临时被更改的编码（通过locale.setlocale(locale.LC_ALL,“zh_CN.UTF-8″)）：locale.getlocale()
文件系统的编码：sys.getfilesystemencoding()
终端的输入编码：sys.stdin.encoding
终端的输出编码：sys.stdout.encoding
代码的缺省编码：文件头上# -*- coding: utf-8 -*-

2. 汉字判断

在网上看了下，做个记录

目前广为流传的是用(0x4e00, 0x9fa6)这个范围来判断一个unicode汉字

输出所有unicode汉字:
print “”.join(map(unichr,xrange(0x4e00,0x9fa6)))

unicode 最新版本是2009年9月出版的5.2版，对汉字又进行了扩充。以往常说的20902个汉字，在unicode中从0x4e00-0x9fa5，但这不是全部的unicode汉字。最新版的unicode汉字块如下：

0x4E00-0x9FFF CJK 统一字型 常用字 共 20992个（实际只定义到0x9FCB)
0×3400-0x4DFF CJK 统一字型扩展表A 少用字 共 6656个 (实际定义到4DB5 䶵 字)
0×20000-0x2A6DF CJK 统一字型扩展表B 少用字，历史上使用 共42720个 （实际定义到0x2A6D6 )
0x2A700-0x2B73F CJK 统一字型扩展表C 共4160个汉字，全部定义
0xF900-0xFAFF CJK 兼容字型 重复字，可统一变体，共同字 共512个
0x2F800-0x2FA1F CJK 兼容字型补遗 可统一变体 共544个

3. Python的ASCII, GB2312, Unicode , UTF-8

ASCII 是一种字符集,包括大小写的英文字母、数字、控制字符等，它用一个字节表示，范围是 0-127

Unicode分为UTF-8和UTF-16。UTF-8变长度的，最多 6 个字节，小于 127 的字符用一个字节表示，与 ASCII 字符集的结果一样，ASCII 编码下的英语文本不需要修改就可以当作 UTF-8 编码进行处理。

Python 从 2.2 开始支持 Unicode ，函数 decode( char_set )可以实现 其它编码到 Unicode 的转换，函数 encode( char_set )实现 Unicode 到其它编码方式的转换。

比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码分别是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是  “你好”的UTF-8编码结果。

python中使用 unicode的关键：unicode是一个类，函数unicode(str,"utf8")从utf8编码（当然也可以是别的编码）的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的对象unc转换为（编码为）utf8编码（当然也可以是别的编码）的字符串。于是，编写unicode相关程序，需要做的事情是

    * 获取数据（字符串）时，用unicode(str, "utf8")生成unicode对象
    * 在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写
    * 输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")

>>> unicode("你好", "utf8")
u'\u4f60\u597d'
>>> x = _
>>> type(x)
<type 'unicode'>
>>> type("你好")
<type 'str'>
>>> x.encode("utf8")
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> x.encode("gbk")
'\xc4\xe3\xba\xc3'
>>> x.encode("gb2312")
'\xc4\xe3\xba\xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???

以上是测试结果（Ubuntu 6.06，locale为utf8），注意type(x)和type("你好")的区别。从编码上可以看出utf8编码与gbk不同。在utf8的 locale设置下，打印x按该环境变量编码（我猜我猜我猜猜猜），而打印x.encode("gbk")则是乱码。