爬虫UnicodeEncodeError错误解决

代码演示:

import requests
# 程序入口
if __name__ == '__main__':
    # 1.确定哦url
    url_ = 'https://www.baidu.com/'  # 以字符串的形式呈现
    # 2.发送网络请求
    response_ = requests.get(url_)
    # 保存
    with open('baidu.html', 'w') as f:
        f.write(response_.text)

这里会出现报错:UnicodeEncodeError: 'gbk' codec can't encode character '\xe7' in position 318: illegal multibyte sequence
解决方式:但凡是见到UnicodeEncodeError错误,在读写操作中加上encoding='utf-8’基本就可以解决。

解决完成之后我们就可以拿到正确的结果了:
l乱码
但是为什么会出现乱码的情况呢?

出现问题原因:
从网络请求拿下来的数据,都是字节类型的数据,我们使用text直接拿到的是字符串类型的数据,原因是:使用text会自动进行解码操作,但是会涉及到编解码格式的问题,但是text会自动识别编解码格式,然后进行解码操作,但是不一定准确,由于text自作多情 检测错了解码格式,因此出现了乱码的情况。

解决办法:直接使用content得到字节类型的数据,再使用解码方式进行解码:

import requests
# 程序入口
if __name__ == '__main__':
    # 1.确定哦url
    url_ = 'https://www.baidu.com/'  # 以字符串的形式呈现
    # 2.发送网络请求
    response_ = requests.get(url_)
    bytes_data = response_.content
    str_data = bytes_data.decode('utf-8')  # 使用正确的编码方式去解码,将字节数据解码成看得懂的字符数据,这样就可以避免乱码的问题。
    # 保存
    with open('baidu.html', 'w') as f:
        f.write(response_.text)

正确结果如下:
解决

  • 7
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

莘薪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值