使用requests爬取数据中文编码问题

最近参加一个比赛,由于数据集较少,需要自己手动爬取一些数据。首先发现原网页是局部刷新页面的,通过分析,拿到了请求json字符串的url,将url直接复制在浏览器中,可以拿到json字符串,接下来码代码爬取数据,主要代码如下:

response = requests.get(url)
        if response.status_code == 200:
            content = response.text

发现拿到的数据中中文全部变成了\u***之类的数据,首先想到的可能是编码问题,然后去网上搜,试了好多种办法,还是无法解决。
手动将输出的字符赋值为字符串,然后输出,发现竟然是中文

a = "\u5e73\u624b"
print(a)
print(type(a))

输出:
7239122-3fb2a9ca181bc971.png

于是就怀疑可能是数据本身有问题,再次查看原网页数据:


7239122-fbf07b07e29c1701.png

发现原始数据中中文确实是编码,当变为json数据时问题就解决了:
7239122-562b29d9880c9b3b.png

于是修改源代码:

response = requests.get(url)
        if response.status_code == 200:
            content = response.json()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值