python执行requests请求数据出现ascii编码问题

白叔King

已于 2023-08-30 11:14:20 修改

阅读量2.5k

点赞数

分类专栏： python 文章标签： python

于 2022-03-24 11:02:12 首次发布

本文链接：https://blog.csdn.net/weixin_37254196/article/details/123705628

版权

python 专栏收录该内容

89 篇文章 6 订阅

订阅专栏

博客探讨了Python处理ASCII编码和UTF-8编码时遇到的乱码问题。通过使用`encode('raw_unicode_escape')`和`decode()`方法，可以成功解决从网页获取内容时的编码转换问题。

摘要由CSDN通过智能技术生成

废话不多说，直接开讲

'ç¨³å®’编码问题

最近用python获取网页内容
竟然出现这个
其实是站长故意设置ascii编码
print(‘实际上也就是ascii编码：’,ascii(‘ç¨³å®’))

#coding=utf-8
1.1、ascii，用1个字节表示。
1.2、UTF-8,用1个至三个字节表示，表示ascii码时只占用1个字节，ascii编码是UTF-8的子集。

最早出现的“密码本”美国人发明叫做ASCII，
ascii只能表示数字、英文字母和一些特殊符号，不能表示汉字
unicode和utf-8都可以表示汉字，unicode是固定长度，utf-8是可变长度
内存中存储方式一般为unicode，而磁盘文件存储方式一般为utf-8，因为utf-8可以节约存储空间

直接解决问题

可使用encode('raw_unicode_escape')将此str转化为bytes, 再decode为str


# -*- coding:utf-8 -*-
import base64
from importlib import reload
from xml import etree

import requests
import sys
reload(sys)


url = 'http://caibaojian.com/fw/87286.html'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
da = requests.get(url,headers=headers).text
# print(da)

ss = da.encode('raw_unicode_escape') #强制转化unicode编码，将此str转化为bytes
sss = ss.decode() #解码
print(sss)