爬虫下来的网页中文乱码解决

最新推荐文章于 2024-08-08 17:59:21 发布

loveysuxin

最新推荐文章于 2024-08-08 17:59:21 发布

阅读量856

点赞数 2

分类专栏：爬虫

本文链接：https://blog.csdn.net/LOVEYSUXIN/article/details/103391726

版权

爬虫专栏收录该内容

6 篇文章 0 订阅

订阅专栏

# -*- coding:UTF-8 -*-
import requests

if __name__ == '__main__':
    target = 'http://www.biqukan.com/1_1094/5403177.html'
    req = requests.get(url=target)
    print(req.text)

运行结果：

print(req.encoding) # 查看网页返回的字符集类型。发现，网页的字符集类型采用的是 GBK 编码格式。请求网页返回的是 ISO-8859-1 不一致，所以乱码。

通过 req.encoding来设置编码形式，乱码解决。

# -*- coding:UTF-8 -*-
import requests

if __name__ == '__main__':
    target = 'http://www.biqukan.com/1_1094/5403177.html'
    req = requests.get(url=target)
    #print(req.encoding)  # 查看网页返回的字符集类型
    req.encoding = "gbk"   #设定编码方式
    print(req.text)

(req.encoding) # 查看网页返回的字符集类型print(req.encoding) # 查看网页返回的字符集类型 print(req.encoding) # 查看网页返回的字符集类型