目录
1、页面解析
2、代码展示
3、总结
1、页面解析
重所周知,想要对豆瓣进行大量爬虫处理,首先需要进行豆瓣网站的模拟登陆,携带cookies来访问网站。先对豆瓣网站进行模拟登陆,主要操作步骤如下所示
第一步:获取账号登陆链接
首先输入错误的账号密码,进行以下操作,
观察发现,每次账号登陆都是携带name,password两个参数进行的。
2、代码展示
主要代码展示
url_basic = 'https://accounts.douban.com/j/mobile/login/basic'
url = 'https://www.douban.com/'
ua_headers = {"User-Agent": 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'}
# basic中post请求的参数,一种模拟登陆的方式,观察在登陆页面上输入错误账号是否有post请求存在
data = {
'ck': '',
'name': '15937590817',
'password': '021412abc.',
'remember': 'false',
'ticket': ''
}
s = requests.session()
# 先请求post请求,提交登陆参数表单
s.post(url=url_basic, headers=ua_headers, data=data)
# 携带登陆成功的cookie去请求get登陆
response = s.get(url=url, headers=ua_headers)
3、总结
1、requests中函数session的使用