Python爬取网页数据，为什么返回为空？

最新推荐文章于 2024-03-20 06:06:00 发布

baidu_17201253

最新推荐文章于 2024-03-20 06:06:00 发布

阅读量6.8k

点赞数 1

分类专栏： Python 文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/baidu_17201253/article/details/122453091

版权

Python 专栏收录该内容

18 篇文章 3 订阅

订阅专栏

例如百度查询“天气”

import urllib.request,re

keywd = '天气'
keywd = urllib.request.quote(keywd) #中文时需转换
url = 'http://www.baidu.com/s?wd='+keywd
data = urllib.request.urlopen(url).read().decode("utf-8")
pat = "title:'(.*?)',"
rst = re.compile(pat).findall(data)
print(rst)

结果：

解决办法：添加对应的浏览器版本信息；（注意，不要用最新版本的；我在测试时使用最新浏览器的版本号，也是返回空）

import urllib.request,re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}

keywd = '天气'
keywd = urllib.request.quote(keywd) #中文时需转换
url = 'http://www.baidu.com/s?wd='+keywd
data = urllib.request.urlopen(url).read().decode("utf-8")
pat = "title:'(.*?)',"
rst = re.compile(pat).findall(data)
print(rst)

结果返回就正常了