python爬虫之resquest.get(url,headers=headers)乱码问题

最新推荐文章于 2023-05-15 21:04:32 发布

d_append

最新推荐文章于 2023-05-15 21:04:32 发布

阅读量5.1k

点赞数

文章标签： python

本文链接：https://blog.csdn.net/d_append/article/details/104600586

版权

在尝试爬取百度新闻网标题时遇到HTML乱码问题，通过修改代码中的解码方式和写文件模式成功解决，但具体原因尚不清楚。

摘要由CSDN通过智能技术生成

今天在尝试爬取百度新闻网标题的时候,出现了爬取的html乱码问题.
爬虫代码如下:

import re
import requests

url='http://news.baidu.com/'

headers={
   
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0'
}
#response.text 不太准确 转码  是靠推测
data = requests.get(url,headers= headers)