接口关联,自动处理cookie
当cookie信息很多时,我们可以使用requests库提供的Session对象自动处理Cookie信息
Session对象会在同一次会话中,自动存储全部的Cookie信息,并在下一次发请求时自动携带Cookie。
Session对象表示客户端和服务端的一次会话,也就是用同一个session对象发送请求就看做成同一个会话
代码实现:
1 创建一个session对象
2 之前通过requrest发送的请求,都用session代替即可
3 这些写的话后面的请求共用cookie,就不用单独再传入cookie了
session = requests.session()
#...
res = session.get(url=url)
res = session.post(url=user_url,headers=headers,data=data)
爬虫练习
爬取n页的标题和时间,写入data.txt文档里
import re
import requests
import time
for page in range(1,11):
if page == 1:
url = 'xxx'
else:
url = 'xxx/xxx_{}.html'.format(page)
res = requests.get(url=url)
res.encoding = 'utf-8'
html = res.text
a_ls = re.findall(r'<div class="xwt2_a">(.*?)</div>', html)
t_ls = re.findall(r'<p class="p3">(.*?)</p>', html)
with open('demo.txt','a',encoding='utf-8') as f:
for a,t in zip(a_ls, t_ls):
title = re.findall(r'title="(.*?)"',a)[0]
con = '[{}]{}\n'.format(title, t)
f.write(con)
print(f'第{page}页爬完')
time.sleep(1)
最后: 为了回馈铁杆粉丝们,我给大家整理了完整的软件测试视频学习教程,朋友们如果需要可以自行免费领取 【保证100%免费】