模拟发请求的方式抓取网页数据(接口爬虫)

在做爬虫时经常会发现有些网站不能通过拼接的方式获取地址,例如在该网站中,无论怎么翻页,网址都是不会变化的,没有页数的参数。
在这里插入图片描述

一般这种情况下都是会采用模拟浏览器的方式,模拟翻页,这是可以实现的,但是存在一些问题:
1、模拟浏览器速度上会受影响,浏览器很容易会出现bug挂掉
2、我们不知道需要模拟翻页多少次
这个时候就可以查看网页使用什么样的请求获取到的数据,那我们采用一样的请求方式就可以获取到数据了。

点击F12打开编程模式,如果下面有内容就点一下clear清空一下
在这里插入图片描述
然后点击翻页,右边就会显示发起的请求,点击对应的请求
在这里插入图片描述
点击header,
请求网址Request URL
请求方式Request Method
下拉,得到请求的其他参数Form Data
在这里插入图片描述
在这里插入图片描述
然后,我们模拟发送相同的请求,就可以得到相应的数据啦

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值