SCRAPY_part7_杂记

TIPS

• Cookie
  一般情况下在 Settings 里 激活COOKIES_ENABLED = True能够调用浏览器的Cookie。
  如果需要特定的Cookie、可以像这样使用、还可以设置参数不与浏览器传回来的COOKIE融合

def start_requests(self):
   yield Request(url='http://www.auchandrive.fr/drive/St-Quentin-985/', cookies={'auchanCook': '"985|"'})

• CookiesMiddleware
  可在 Downloader Middleware 中激活
• 模拟账号登陆常用套路–使用 FormRequest 类
  继承自 Request

 return scrapy.FormRequest.from_response(
    response,
    #用 formdata 传递数据 POST填充的数据
    formdata={'username': 'john', 'password': 'secret'},
    callback=self.after_login
    )
# from_response()会自动识别 <input type="hidden"> 元素,但是如果是用 javascript 填充的表单的话可能会引发冲突

• Downloader Middleware（下载中间件）
  下载中间件 主要是定义 请求在发送到下载器之前添加一些额外信息的中间件 , 比如添加随机IP 或者 U-R, 用于反爬。一定要定义 process_request(request, spider)。