scrapy爬取某网站,模拟登陆过程中遇到的那些坑

    拿到一个网站之后就是先分析网站,分析之后发现需要的数据要登陆才能看到.这个可难不倒我,不就是模拟登陆吗,小菜一碟.
    用chrome分析一下,看到有用户名,密码,还有其他两个校验值.另外还有一个重定向的callback值.如下:

<input type="hidden" name="callback" id="callback" value="此处是重定向的链接">

接下来就登陆,观察post请求的情况.因为有上面的那行代码,所以跳转太快,没看到post请求情况,删掉上面那行代码,然后请求,这次看到了表单发送信息.

接下来就是写代码,模拟登陆.很快就写好代码了,然后开始测试.(还记的上面说过的哪两个校验值吗? 这两个值都是动态的,可以用正则从登陆页面提取到).

部分代码如下:


name = "form"
download_delay = 0.18
allowed_domains = ["http://www.xxxxxx.com"]
headers = {
        "Accept":"*/*",
        "Accept-Encoding":"gzip, deflate, sdch",
        "Accept-Language":"zh-CN,zh;q=0.8",
        "Cache-Control":"max-age=0",
        "Connection":"keep-alive",
        "Host": "www.xxxxxx.com",
        "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
    }
def start_requests(self):

        return [scrapy.Request("http://www.xxxxxxx.com/user/login",meta={'cookiejar':1},headers=self.headers, callback=self.post_login)]

    def post_login(self, response):
        # 下面这句话用于抓取请求网页后返回网页中的_xsrf字段的文字, 用于成功提交表单
        protected_code = Selector(response).xpath('//label[@class="rem"]/input[@name="protected_code"]/@value').extract()[0]
        matchObj=re.search(r'\"csrftk\":\"(.*)\",\"img_path\"',response.text)
        csrf_tk=matchObj.group(1)
        logging.log(logging.WARNING, u"正则获取的值----"+csrf_tk)
        # FormRequeset.from_response是Scrapy提供的一个函数, 用于post表单
        # 登陆成功后, 会调用after_login回调函数
        return [scrapy.FormRequest.from_response(response,method="POST",
                                          headers=self.headers,  # 注意此处的headers
                                          formdata={
                                              'protected_code': protected_code,
                                              'email': 'xxxxxx@qq.com',
                                              'csrf_tk': csrf_tk,
                                              'password': 'xxxxxxxxxx',

                                              'remember': 'true',
                                          },
                                          meta={'cookiejar': response.meta['cookiejar']},
                                          callback=self.after_login,
                                          dont_filter=True
                                          )]

然后设置COOKIES_ENABLED = True和COOKIES_DEBUG=True进行测试.结果发现不成功.查看日志,发现cookie还是登陆之前的状态,登陆的那边被302定向了.(现在想来,应该是scrapy重定向的时候,带的还是登陆前的cookie,所以以后的状态还是登录前的).

既然如此,那就试试关闭重定向,REDIRECT_ENABLED = False,然测试一下,发现爬虫直接退出了.根据报错信息上网找答案,HTTPERROR_ALLOWED_CODES = 302, 然后在跑一遍,完美解决.拿到了想要的数据.到这个时候已经花了好几个小时了.中间走了好多弯路.

总结:遇到错误要认真分析错误信息,多尝试.头脑要清晰,有耐心.技术上的,对scrapy理解的还是不足,对cookies和重定向的理解不到位.理解了运行原理,解决问题就简单多了.

REDIRECT_ENABLED = False 关掉重定向,不会重定向到新的地址
HTTPERROR_ALLOWED_CODES = [302,] 返回302时,按正常返回对待,可以正常写入cookie

顺便谈一下,python在解决实际问题的时候还是很实用的,可以快速上手,而且有很丰富的开源库.建议有时间可以去学一下

转载于:https://my.oschina.net/airship/blog/1795370

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值