问 题
比如说一个用户名和密码再加上验证码是没有问题的。
逻辑是这样的:
def start_requests(self):
yield request(indexUrl, headers, callback=self.downloadPic)
def downloadPic(self, response):
获取cookies,带上cookies来下载图片
yield request(picUrl, headers, callback=self.handlePic)
def handlePic(self, response):
# 识别验证码
# 用户名和密码和验证码放到formdata里
yield FormRequest(postUrl, formdata, headers, callback=self.parse)
但是我现在有很多个用户名和密码(假设存在本地),我想重复N次这样的过程,就改变提交的用户名和密码,请问怎么做?
我尝试过直接用for循环来取,作为self.name和self.password, 然后直接yield首页,像上面走得流程一样,但不行,不知道是不是异步搞得验证码的URL老是在变化。
解决方案
我是这样解决的,既然这个爬虫爬单个没有问题,那么干嘛还要在这个爬虫文件里面获取输入的数据呢?我直接用个脚本来获取输入数据,然后再调用这个爬虫不就行了吗?刚好数据和工具又分开,不用全部堆在一起弄得太复杂。
It works!
顺便一提,给scrapy传入额外的参数是这样的
扫一扫关注IT屋
微信公众号搜索 “ IT屋 ” ,选择关注与百万开发者在一起