摘要: 在进行爬虫时,除了常见的不用登录就能爬取的网站,还有一类需要先登录的网站。比如豆瓣、知乎,以及上一篇文章中的桔子网。这一类网站又可以分为:只需输入帐号密码、除了帐号密码还需输入或点击验证码等类型。本文以只需输入账号密码就能登录的桔子网为例,介绍模拟登录常用的 3 种方法。
1POST 请求方法:需要在后台获取登录的 URL并填写请求体参数,然后 POST 请求登录,相对麻烦;
2添加 Cookies 方法:先登录将获取到的 Cookies 加入 Headers 中,最后用 GET 方法请求登录,这种最为方便;
3 Selenium 模拟登录:代替手工操作,自动完成账号和密码的输入,简单但速度比较慢。
1 先自己登录网页,进入目标查询页面
输入查询数据,然后进入开发者工具,
查询之前清空一下,然后重新查询一下;
登录postman,点击import,点击raw_text
postaman选get,然后发送,得响应消息,最后按需拉取需要的信息
点击红色剪头位置
然后根据自己需要,选择语言,然后进入开发。