Python 爬虫乱码问题

乱码问题

今天学习爬虫的时候遇到乱码问题，借此机会想搞清楚 Python 的乱码，不想跑通就过.

r = requests.get('https://www.baidu.com',proxies=proxies) # Demo网址
demo = r.text  # 抓取的数据

打印 demo 结果时候发现出现乱码情况：

<a href=http://www.baidu.com/duty/>使ç\x94¨ç\x99¾åº¦å\x89\x8då¿\x85读</a>

然而实际是：

<a href=http://www.baidu.com/duty/>使用百度前必读</a>

编码与解码

常用的编码有 Unicode、utf-8等

• Unicode： 万国码，为每种语言中的字符设定了唯一的二进制编码
• utf-8： 由于 Unicode 部分字符占用字节过多，传输有问题，所以使用 utf-8可变长度字符编码 解决空间浪费问题