爬虫乱码问题（中文乱码）

最新推荐文章于 2023-11-09 11:21:02 发布

明天会开心

最新推荐文章于 2023-11-09 11:21:02 发布

阅读量408

点赞数

文章标签：爬虫 python 前端

本文链接：https://blog.csdn.net/m0_62364283/article/details/126462249

版权

###源代码

import requests
from bs4 import BeautifulSoup


res = requests.get("https://www.autohome.com.cn/news/",)

soup=BeautifulSoup(res.text,'lxml')
ul=soup.find(class_="article")
print(ul)

乱码情况为：

ÈÕÇ°£¬ÓÐ¹úÄÚÃ½Ìå±¨µÀ³Æ£¬±ÈÑÇµÏ¹Ù·½ÔÚ½ÓÊÜ²É·ÃÊ±±íÊ¾£¬Æä¼Æ»®µ½2025ÄêÔÚÈÕ±¾¿ªÉè100¼Òµç¶¯Æû³µÏúÊÛÃÅµê£¬µ«Ä¿Ç°²¢Ã»ÓÐÔÚÈÕ±¾½¨³§.

解决方法：(将文本先拿出，进行重新编码，在放入bs4soup中)

res = requests.get("https://www.autohome.com.cn/news/",)
#'iso-8859-1为浏览器默认的字符编码

Html=res.text.encode('iso-8859-1').decode('gbk')#对编码格式为gbk方式读取
# 实例化soup对象
soup = BeautifulSoup(Html, 'lxml')