模拟登录——添加cookies,使用postmanget请求网页数据

摘要: 在进行爬虫时,除了常见的不用登录就能爬取的网站,还有一类需要先登录的网站。比如豆瓣、知乎,以及上一篇文章中的桔子网。这一类网站又可以分为:只需输入帐号密码、除了帐号密码还需输入或点击验证码等类型。本文以只需输入账号密码就能登录的桔子网为例,介绍模拟登录常用的 3 种方法。
1POST 请求方法:需要在后台获取登录的 URL并填写请求体参数,然后 POST 请求登录,相对麻烦;
2添加 Cookies 方法:先登录将获取到的 Cookies 加入 Headers 中,最后用 GET 方法请求登录,这种最为方便;
3 Selenium 模拟登录:代替手工操作,自动完成账号和密码的输入,简单但速度比较慢。

1 先自己登录网页,进入目标查询页面
在这里插入图片描述
输入查询数据,然后进入开发者工具,
在这里插入图片描述
查询之前清空一下,然后重新查询一下;
在这里插入图片描述

在这里插入图片描述

登录postman,点击import,点击raw_text
在这里插入图片描述

postaman选get,然后发送,得响应消息,最后按需拉取需要的信息 在这里插入图片描述
点击红色剪头位置
在这里插入图片描述
然后根据自己需要,选择语言,然后进入开发。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值