PythonWebCrawler-模拟浏览器爬取信息

最新推荐文章于 2025-11-13 06:55:49 发布

原创最新推荐文章于 2025-11-13 06:55:49 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#浏览器 #网络 #爬虫 #调试

PythonNewHere 专栏收录该内容

24 篇文章

订阅专栏

在爬取某些网站时遇到403错误，可以模拟浏览器进行登录以绕过反爬限制。通过查看浏览器的Network面板获取User-Agent信息，然后利用Python的`build_opener()`或`add_header()`方法修改HTTP请求的报头，实现爬虫伪装成浏览器进行访问。

部署运行你感兴趣的模型镜像

有时候爬取一些网站会出现403的错误，因为这些网站采取了一些反爬设置。
我们可以让爬虫模拟成浏览器去登录

怎么模拟成浏览器呢 - -User-Agent信息

打开一个网页，进入调试模式，点击Network选项卡，按一下F5，刷新一下，然后在name列表中，随便找一个网址点击
，这里写图片描述
Header选项卡，往下拉，找到一个User-Agent的信息，如果没有的话，换一个网址找

得到信息 User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36

有两种方法让爬虫模拟承浏览器访问网页的设置方法

1.使用build_opener()修改报头

定义一个header来存储刚刚得到的U-A信息，用元组储存（‘User-Agent’,’信息’）

url = 'http://blog.csdn.net/junloin/article/details/76152747'
#### 不能把直接得到的U-A信息赋值给headers.要修改成元组
headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()     #写入本地文件
fhandle = open('D:/GitHubRepository/WebCrawlerStudy/3.html','wb')
fhandle.write(data)
fhandle.close()

2.使用add_header()添加报头

url = 'http://blog.csdn.net/weiwei_pig/article/details/51178226'
req = urllib.request.Request(url)
req.add_header(
    'User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36')
data = urllib.request.urlopen(req).read()
fhandle = open('D:/GitHubRepository/WebCrawlerStudy/3_1.html', 'wb')
fhandle.write(data)
fhandle.close()