Python爬虫 urllib中get请求的quote方法,使中文转Unicode编码

先来了解下编码的由来:

        由于计算机是美国人发明的,因此,最早只有127个字符被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。
        但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突
        所以,中国制定了GB2312编码,用来把中文编进去。
        你可以想得到的是,全世界有上百种语言,日本把日文编到shift_]IS里,韩国把韩文编到Eue-kr里,
        各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。
        因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。
        Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏解的字符,就需要4个字节)。
        现代操作系统和大多数编程语言都直接支持Unicode。

        当我们将一个网站的网址复制粘贴到pycharm时:

        pycharm中显示的网址却把‘周杰伦’三个字变成了黄线一大串字符

         这是因为‘周杰伦’三个字被pycharm转换成了Unicode编码。

         当然,我们也可以使用urllib中get请求的quote方法,手动使中文转Unicode编码:

import urllib.parse

# 将中文变成Unicode编码的格式
# 我们需要依赖于urllib.parse
# 比如将‘周杰伦’转换成unicode编码

name = urllib.parse.quote('周杰伦')

print(name)

        运行结果:

        可以看到,与前面一张图黄线标记处一致,说明中文成功转换为Unicode编码了。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值