在spider页面重写start_requests方法,将登陆后的cookies复制过来,并处理成字典格式,在start_requests方法里yield一个请求,将cookies作为参数添加进去即可。
关于如何准确获取登陆后的cookies
只要是在完成账号登陆后打开的页面,保存的cookies都是一样的,随意复制即可。
def start_requests(self):
#复制过来的cookie
Cookie = "1=2; 3=4;5=6;7=8;9=0"
#通过列表推导式将其改成字典格式
cookies = {i.split('=')[0]: i.split('=')[1] for i in Cookie.split('; ')}
yield scrapy.Request(
url=self.start_urls[0],
callback=self.parse,
cookies=cookies
)