文章目录
常用编码格式之间的关系
常用的编码格式
ASCII
全称为 American Standard Code for Information Interchange,美国信息交换标准代码,这是世界上最早最通用的单字节编码系统,主要用来显示现代英语及其他西欧语言。ASCII 码用 7 位表示,只能表示 128 个字符。只定义了 27=128 个字符,用7bit 即可完全编码,而一字节 8bit 的容量是 256,所以一字节 ASCII 的编码最高位总是 0。0~31 表示控制字符如回车、退格、删除等;32~126 表示打印字符即可以通过键盘输入并且能显示出来的字符;其中 48~57 为 0 到 9 十个阿拉伯数字,65~90 为 26 个大写英文字母,97~122 号为 26 个小写英文字母,其余为一些标点符号、运算符号等,具体可以参考 ASCII 标准表。
ISO8859-1
ISO-8859-1 又称 Latin-1,是一个 8 位单字节字符集,它把 ASCII 的最高位也利用起来,并兼容了 ASCII,新增的空间是 128,但它并没有完全用完。在 ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号,它是向下兼容 ASCII 编码。
GB2312,GBK,GB18030
GB2312
GB2312 全称为信息交换用汉字编码字符集,是中国于 1980 年发布,主要用于计算机系统中的汉字处理。GB2312 主要收录了 6763 个汉字、682 个符号。GB2312覆盖了汉字的大部分使用率,但不能处理像古汉语等特殊的罕用字,所以后来出现了像 GBK、GB18030 这种编码。GB2312 完全兼容 ISO8859-1。
GBK
全称为 Chinese Internal Code Specification,即汉字内码扩展规范,于 1995 年制定。它主要是扩展了 GB2312,在它的基础上又加了更多的汉字,它一共收录了 21003 个汉字。
GB18030
现在最新的内码字集于 2000 年发布,并于 2001 年强制执行,包含了中国大部分少数民族的语言字符,收录汉字数超过 70000 余个。它主要采用单字节、双字节、四字节对字符编码,它是向下兼容 GB2312 和 GBK 的,虽然是我国的强制使用标准,但在实际生产中很少用到,用得最多的反而是 GBK 和 GB2312
Unicode
Unicode 编码设计成了固定两个字节,所有的字符都用 16 位(2^16=65536)表示,包括之前只占 8 位的英文字符等,所以会造成空间的浪费,UNICODE 在很长的一段时间内都没有得到推广应用。Unicode 完全重新设计,不兼容 iso8859-1,也不兼容任何其他编码。
UTF-8
对于英文字母,unicode 也需要两个字节来表示。所以 unicode 不便于传输和存储。因此而产生了 UTF 编码,UTF-8 全称是(8-bit UnicodeTransformation Format)。UTF 编码兼容 iso8859-1 编码,同时也可以用来表示所有语言的字符,不过,UTF 编码是不定长编码,每一个字符的长度从 1-4 个字节不等。其中,英文字母都是用一个字节表示,而汉字使用三个字节。
【建议】一般项目都会使用 UTF-8。unicode 中虽然汉字是两个字节,UTF-8 中汉字是 3 个字节。但是互联网中一个网页也包含了大量的英文字母,这些英文字母只占用 1 个字节,整体占用空间,UTF-8 仍然由于 Unicode。
计算机编码的工作原理
以utf-8为例
首先在计算机内存中,统一使用的是unicode编码,即当我们在编辑一个记事本文件的时候,我们打开记事本后,编码格式由utf-8变为内存中的unicode编码,在我们编辑完之后关闭记事本的过程中,unicode编码再重新转化为utf-8编码
python3用的是unicode编码,也就意味着python3中的字符串可以支持多种语言,但是这仅仅是内存中的表示,如果想在网络中传输或者保存到磁盘的时候,需要把str转变为以字节为单位的bytes,在读写的时候我们一般只要清楚的知道自己的数据是什么编码格式,一般是不会出现乱码的问题的。
Python中的字符编码是怎么一回事呢
通过下面的两种方法实现对字符串的编码解码
- encode()
以指定的编码格式编码字符串,返回编码后的字符串,是一个bytes对象
从效率he空间上讲,纯英文的str可以用ASCII编码为bytes,纯中文的str可以用utf-8编码为bytes
再补充:不要用ascii去编码含有中文的str,会报错,因为越界了,具体的看两种编码的范围
# 其中参数encoding为需要使用的编码,errors为可选参数,默认为strict,表示如果发生编码错误,返回一个unicodeerror
# 语法格式为:
str.encode(encoding='utf-8',errors='strict')
- decode()
以指定的格式解码bytes对象,默认为utf-8编码,该编码返回解码后的字符串
# 语法格式为:
bytes.decode(encoding='utf-8',errors='strict')
小总结:操作字符串时,会经常遇到str和bytes的互相转换,为了避免逻辑紊乱,建议编码和解码的时候是始终使用一种编码格式,比如:utf-8
- 补充知识点1
Python源文件也是一个文本文件,大家有没有遇到过有时候打开的源文件中发现中文乱码的现象呢?
因此,我们一般选择在保存源文件的时候需要设置保存格式为utf-8,同时在编写Python源文件的时候在顶行加入下列代码,这并不是给我们看,而主要是给解释器看,为了让它按照指定编码读取文件。
# !/user/bin/env python3
# - * - coding: utf-8 - * -
- 补充知识点2
如何判断目标字符串的编码格式呢?又如何查看系统默认的编码格式呢?
使用isinstance方法
# python2
isinstance(str,unicode)
# python3
isinstance(str,str)
# 查看系统默认的编码格式
import sys
print(sys.getdefaultencoding())
实际开发中遇到的各种乱码
- 当网页使用了gzip压缩,终端打印的返回结果是中文乱码
解决办法:使用response.content【response是请求完返回的对象,其.content会自动解码gzip和deflate传输的编码数据】,但是同时要记得解码呀
import chardet
import requests
response = requests.get(url)
result = response.content
print("result的编码格式为:",chardet.detect(result))
print(result.decode('utf-8'))