scrapy_cookie_header 处理

2019独角兽企业重金招聘Python工程师标准>>>

start_urls=['http://login.bioon.com/login']

    

    def parse(self,response):

        #从response.headers中获取cookies信息

        r_headers = response.headers['Set-Cookie']

        cookies_v = r_headers.split(';')[0].split('=')

        

        cookies = {cookies_v[0]:cookies_v[1]}

        

        #模拟请求的头部信息

        headers = {

        'Host': 'login.bioon.com',

        'Referer':'http://login.bioon.com/login',

        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:40.0) Gecko/20100101 Firefox/40.0',

        'X-Requested-With':'XMLHttpRequest' 

        }

        

        #获取验证信息

        csrf_token = response.xpath(

            '//input[@id="csrf_token"]/@value ').extract()[0]

        

        #获得post的目的URL

        login_url = response.xpath(

            '//form[@id="login_form"]/@action ').extract()[0]

        end_login = response.urljoin(login_url)

        

        #生成post的数据

        formdata={

        #请使用自己注册的用户名

        'account':'********',

        'client_id':'usercenter',

        'csrf_token':csrf_token,

        'grant_type':'grant_type',

        'redirect_uri':'http://login.bioon.com/userinfo',

        #请使用自己注册的用户名

        'username':'********',

        #请使用自己用户名的密码

        'password':'xxxxxxx',

        }

        

        #模拟登录请求

        return FormRequest(

        end_login,

        formdata=formdata,

        headers=headers,

        cookies=cookies,

        callback=self.after_login

        )

转载于:https://my.oschina.net/u/2367514/blog/597922