豆瓣简单模拟登陆

爬虫 专栏收录该内容
2 篇文章 0 订阅

找url

找到登陆接口后,用requests.post()请求该网页URL,之后将得到的cookie存入本地。

遇到什么问题?

参数问题,在requests的post中要用,data。在get中要用params,这个就搞人了。

给我感觉cookie的作用。没有cookie,一些网站是不能爬取的,要爬就需要cookie,那么有些网站必须登陆才有对的cookie可以获取。得到cookie后存入本地。

这个登陆接口页面的cookie也就是豆瓣主页的需要的cookie,什么时候cookie会变 我也不知道,我退出豆瓣之后,对于接口的请求就失效了,得不到cookie了,但是保存下来的cookie能保持较长是间的有效。

也就是说,加了存储的cookie依然能够获取到豆瓣主页信息

1

先登陆豆瓣,找到接口

2

post请求接口url,带入账号密码等等参数,加上接口的cookie,headers

将cookie存入本地

3

使用时读取cookie,赋值给变量

file = open(“文件名.pickle”,‘rb’)

dict_cookie = pickle.load(file)

4

再请求主网站,带上dict_cookie

之后就可以访问到了。


```python
import requests

import pickle

url ="https://www.douban.com/"

headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}

file =open("douban.pickle","rb")

dict_cookie = pickle.load(file)

res = requests.get(url,headers=headers,cookies=dict_cookie)

print(res.text)



  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

<p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">1.【为什么要学习本门课程】</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">这是一个数据驱动的时代,想要从事机器学习、人工智能、数据挖掘等前沿技术,都离不开数据跟踪,</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">从数据爬虫实战角度出发,让你在数据科学领域迈出重要的一步,开启Data Science职业之旅!</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">2.【课程特点】</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">课程精选多个实战项目,从易到难,层层深入。</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">不同项目解决不同的抓取问题,带你从容抓取主流网站,让你牢牢掌握爬虫工程师硬核技能。</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">3【主体大纲&设计思路】</p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;">本课程专为数据爬虫工程师打造,课程有二个阶段,爬虫案例->数据分析</p>
©️2022 CSDN 皮肤主题:深蓝海洋 设计师:CSDN官方博客 返回首页

打赏作者

Welosthesightof

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值