先来了解下编码的由来:
由于计算机是美国人发明的,因此,最早只有127个字符被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。
但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突
所以,中国制定了GB2312编码,用来把中文编进去。
你可以想得到的是,全世界有上百种语言,日本把日文编到shift_]IS里,韩国把韩文编到Eue-kr里,
各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。
因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏解的字符,就需要4个字节)。
现代操作系统和大多数编程语言都直接支持Unicode。
当我们将一个网站的网址复制粘贴到pycharm时:
pycharm中显示的网址却把‘周杰伦’三个字变成了黄线一大串字符
这是因为‘周杰伦’三个字被pycharm转换成了Unicode编码。
当然,我们也可以使用urllib中get请求的quote方法,手动使中文转Unicode编码:
import urllib.parse
# 将中文变成Unicode编码的格式
# 我们需要依赖于urllib.parse
# 比如将‘周杰伦’转换成unicode编码
name = urllib.parse.quote('周杰伦')
print(name)
运行结果:
可以看到,与前面一张图黄线标记处一致,说明中文成功转换为Unicode编码了。