TIPS
- Cookie
一般情况下在 Settings 里 激活COOKIES_ENABLED = True
能够调用浏览器的Cookie。
如果需要特定的Cookie、可以像这样使用、还可以设置参数不与浏览器传回来的COOKIE融合
def start_requests(self):
yield Request(url='http://www.auchandrive.fr/drive/St-Quentin-985/', cookies={'auchanCook': '"985|"'})
- CookiesMiddleware
可在 Downloader Middleware 中激活 - 模拟账号登陆常用套路–使用 FormRequest 类
继承自 Request
return scrapy.FormRequest.from_response(
response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login
)
- Downloader Middleware(下载中间件)
下载中间件 主要是定义 请求在发送到下载器之前添加一些额外信息的中间件 , 比如添加随机IP 或者 U-R, 用于反爬。一定要定义 process_request(request, spider)
。