对于爬虫字符编码出现错误的终极解决

最新推荐文章于 2024-04-22 12:03:05 发布

hhh江月

最新推荐文章于 2024-04-22 12:03:05 发布

阅读量1.6w

点赞数 7

分类专栏： python leetcode 其他文章文章标签： python 乱码 http 经验分享其他

本文链接：https://blog.csdn.net/m0_54218263/article/details/115432453

版权

其他文章同时被 3 个专栏收录

74 篇文章 0 订阅

订阅专栏

python

64 篇文章 21 订阅

订阅专栏

leetcode

29 篇文章 8 订阅

订阅专栏

本文介绍了如何解决爬虫在抓取网页时遇到的字符编码问题。通过探测网页的编码方式，然后使用相应的编码进行转码，可以避免乱码。具体步骤包括：发送HTTP请求，检测响应内容的编码，设置响应的正确编码，最后正确显示文本。

摘要由CSDN通过智能技术生成

对于爬虫字符编码出现错误的终极解决

文章目录

引言

众所周知，网页在编写的时候，会采用不同的编码格式的，因此，在爬虫过程中，很容易就会出现字符编码的乱码的问题，这个问题是很令人烦恼的，但是，这里其实也有一个通用的方法来解决这个烦人的问题。

解决思路

我们想办法用一种通用的方法去直接获取到所要爬取的网页的具体编码格式，然后在根据这个编码格式进行转码即就可以了，从而也就避免了字符编码乱码的问题。

代码的实现

（我们采用 Jupyter Notebook 来实现该操作，当然了，后面会附上源码的，也可以使用Pycharm ）
1、代码实现
在这里插入图片描述
2、网页展示

3、源码

import requests
import re
# 导入库
url = 'https://www.taobao.com/'
# 构建URL
headers = {
    'user-agent': 
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'
}
# 构建请求头
response = requests.get(url=url, headers=headers)
# 发送请求
print(response)
import chardet
# 导入解决字符编码的库
print(chardet.detect(response.content))
# 查看字符编码
response.encoding = chardet.detect(response.content)['encoding']
# 设置字符编码
print(response.text)
# 直接打印文本