UTF-8和GBK编码

之前只大概了解过UTF-8和GBK编码，最近遇到头疼的编码问题，参考一些资料整理了一下作备忘。厚颜写上原创。

更具体的可以参考：http://www.iteye.com/topic/560229

1、简介

在计算机中，所有的数据在存储和运算时都要使用二进制数表示（因为计算机用高电平和低电平分别表示1和0），而为了存储文字和符号，就需要一套文字符号与二进制数的转换规则，就是编码。其中，ASCII码，就是由美国国家标准学会制定的，标准的单字节字符编码方案。标准ASCII 码，使用7 位二进制数来表示所有的大写和小写字母，数字0 到9、标点符号， 以及在美式英语中使用的特殊控制字符。

Unicode，是为了解决传统编码在不同国家语言不兼容的问题产生的统一编码，范围为0-0x10FFFF。

GBK，国标，是汉字编码标准之一，由中华人民共和国全国信息技术标准化技术委员会于1995年12月1日制订。使用了双字节编码方案，其编码范围从8140至FEFE（剔除xx7F），共23940个码位，共收录了21003个汉字，完全兼容GB2312-80标准，支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字，并包含了BIG5编码中的所有汉字。

UTF-8，Unicode的一种实现方式，使用1-4个字节来对Unicode编码。

Unicode/UCS-4	bit数	UTF-8	byte数	备注
0000 ~ 007F	0~7	0XXX XXXX	1
0080 ~ 07FF	8~11	110X XXXX 10XX XXXX	2
0800 ~ FFFF	12~16	1110XXXX 10XX XXXX 10XX XXXX	3	基本定义范围：0~FFFF
1 0000 ~ 1F FFFF	17~21	1111 0XXX 10XX XXXX 10XX XXXX 10XX XXXX	4	Unicode6.1定义范围：0~10 FFFF

2、python的字符串和编码

python中，2.x和3.x的字符串是有区别的。

2.x中str类型是UTF8、GBK等编码后的字符串，在2.2开始增加Unicode类型，以u'XXXX'这种格式的字符串就是Unicode类型。str与Unicode转换：unicode(str,"utf8")和unc.encode("utf8")（编码方式根据具体情况更改）。

3.x中str类型跟2.x中unicode类型类似，是以unicode形式存储。增加bytes类型，以b’XXX‘格式定义。str和bytes之间通过uni.encode('utf-8')和bytes.decode('utf-8')（编码方式根据具体情况更改）转换。

3、Url中的编码

url中，有些字符有特殊含义，如’/‘、’&‘等等。如果url内容（如参数）中包含了这些字符，就需要转换，例如空格转换为’%20'，’&‘转换为‘%26’，其实就是按照字符集将字符转换为十六进制，并带上‘%’。中文字符也是，按照UTF-8、GBK等编码转为十六进制。

但是由于浏览器和浏览器设置的不同，编码的字符集也不同，会导致解码出错的问题。

具体可以参考这里。