爬虫实战4：豆瓣的模拟登陆

目录

1、页面解析

2、代码展示

3、总结

---

1、页面解析

重所周知，想要对豆瓣进行大量爬虫处理，首先需要进行豆瓣网站的模拟登陆，携带cookies来访问网站。先对豆瓣网站进行模拟登陆，主要操作步骤如下所示

第一步：获取账号登陆链接

 

首先输入错误的账号密码，进行以下操作，

 

 

第二步：对登陆链进行分析

观察发现，每次账号登陆都是携带name,password两个参数进行的。

2、代码展示

主要代码展示

    url_basic = 'https://accounts.douban.com/j/mobile/login/basic'
    url = 'https://www.douban.com/'
    ua_headers = {"User-Agent": 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'}
    # basic中post请求的参数，一种模拟登陆的方式，观察在登陆页面上输入错误账号是否有post请求存在
    data = {
        'ck': '',
        'name': '15937590817',
        'password': '021412abc.',
        'remember': 'false',
        'ticket': ''
    }
    s = requests.session()
    # 先请求post请求，提交登陆参数表单
    s.post(url=url_basic, headers=ua_headers, data=data)
    # 携带登陆成功的cookie去请求get登陆
    response = s.get(url=url, headers=ua_headers)

3、总结

1、requests中函数session的使用