python使用scrapy 模拟登陆带验证码 豆瓣

之前几个月接触过一点python 爬虫 后来 忘了很多，现在重新练习下 

# -*- coding: utf-8 -*-
import scrapy
import urllib
from PIL import Image

class DoubanLoginSpider(scrapy.Spider):
    name = 'douban_login'
    allowed_domains = ['douban.com']
#    start_urls = ['http://www.douban.com/']
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"}

    def start_requests(self):
        '''
        重写start_requests，请求登录页面
        '''
        return [scrapy.FormRequest("https://accounts.douban.com/login", headers=self.headers, meta={"cookiejar":1}, callback=self.parse_before_login)]

    def parse_before_login(self, response):
        '''
        登录表单填充，查看验证码
        '''
        print("登录前表单填充")
        captcha_id = response.xpath('//input[@name="captcha-id"]/@value').extract_first()
        captcha_image_url = response.xpath('//img[@id="captcha_image"]/@src').extract_first()
        if captcha_image_url is None:
             print("登录时无验证码")
             formdata = {
                                "source": "index_nav",
                                "form_email": "676770285@qq.com",
                                #请填写你的密码
                                "form_password": "*********",
                        }
        else:
                print("登录时有验证码")
                
                save_image_path = r"D:\EclipseWorkspace\python\douban\douban\spiders\cpatcha.jpeg"
                #将图片验证码下载到本地
                urllib.request.urlretrieve(captcha_image_url, save_image_path)
                #打开图片，以便我们识别图中验证码
                try:
                        im = Image.open("D:\EclipseWorkspace\python\douban\douban\spiders\cpatcha.jpeg")
                        im.show()
                except:
                        pass
                captcha_solution = input('根据打开的图片输入验证码:')
                formdata = {
                                "source": "None",
                                "redir": "https://www.douban.com",
                                "form_email": "676770285@qq.com",
                                #此处请填写密码
                                "form_password": "**********",
                                "captcha-solution": captcha_solution,
                                "captcha-id": captcha_id,
                                "login": "登录",
                        }


        print("登录中")
        #提交表单
        return scrapy.FormRequest.from_response(response, meta={"cookiejar":response.meta["cookiejar"]}, headers=self.headers, formdata=formdata, callback=self.parse_after_login)
    def parse_after_login(self, response):
        '''
        验证登录是否成功
        '''
        account = response.xpath('//a[@class="bn-more"]/span/text()').extract_first()
        if account is None:
                print("登录失败")
        else:
                print(u"登录成功,当前账户为 %s" %account)
          

我也算个小白 ，可能理解的不是多么深入就简单记录一下自己的总结，

前面的域名，头部，不用多说，进入到start_requests 方法中在这个方法中，返回的内容中请求豆瓣网的登陆页面，

这个登陆页面的地址在哪里找，用谷歌浏览器把豆瓣的登陆页面打开按F12，找出action 提交的地址这个地址就是登陆页面

然后带这个头部参数，自定义一个字典，用来存储cookie，然后回调下一个方法中，

        首先我们要分析这个页面是否有验证码，可能你前2次登陆没有验证码，但是多次之后就会出现验证码的情况 所以我们要考虑这个情况了

可以多次尝试失败 然后按F12 找到验证码的地址，

然后将分情况将有验证码 或没有验证码 的情况区分出来 详情看代码