scrapy爬取某网站,模拟登陆过程中遇到的那些坑

最近接触scrapy,爬取了几个网站,用着还挺顺手的.
前几天,一个做业务的同事让我帮他爬取一个网站上的用户信息,我就满口承诺下来了.毕竟,通过前几次的爬取,已经自信心爆棚了(从此入坑).

    拿到一个网站之后就是先分析网站,分析之后发现需要的数据要登陆才能看到.这个可难不倒我,不就是模拟登陆吗,小菜一碟.
    用chrome分析一下,看到有用户名,密码,还有其他两个校验值.另外还有一个重定向的callback值.如下:

<input type="hidden" name="callback" id="callback" value="此处是重定向的链接">

接下来就登陆,观察post请求的情况.因为有上面的那行代码,所以跳转太快,没看到post请求情况,删掉上面那行代码,然后请求,这次看到了表单发送信息.

接下来就是写代码,模拟登陆.很快就写好代码了,然后开始测试.(还记的上面说过的哪两个校验值吗? 这两个值都是动态的,可以用正则从登陆页面提取到).

部分代码如下: