scrapy踩坑记录

今天用scrapy爬个站点，请求url得到response一看，被转到登录页去了。

料想它有Cookie验证，于是去搞了Cookie，又在PostMan里用Cookie获取到实际内容。

但到scrapy里加了同样的Cookie却还是拿的登录页，以为scrapy的cookie没设置对，各种整cookie和请求头，又觉得该站可能有特殊的反爬操作。

与空气斗智斗勇大半天，结果发现是因为我开了http缓存，第一次没带cookie时就缓存的登录页内容，之后不管怎样，只要url没变都是返回的缓存的登录页内容。。。

瞎比操作，引以为鉴。