scrapy模拟POST登录

利用cookies登录

一、利用已获取的cookies绕过POST请求，对url直接进行GET请求

其一般在下载中间件调整，也可以在爬虫中间件调整

在下载中间件project_nameSpiderMiddleware类中有个方法process_request()，修改请求参数都在这个方法内。

(1)在settings.py中打开DEFAULT_REQUEST_HEADS，增加cookie:cookies_str键值对。

(2)利用request.headers[‘cookie’]设置

首先在settings.py中，将cookies设置成False，其默认就是True。

然后在登入后的网页中copy现成的cookies信息，我们暂时称之为cookies_str

在process_request()中加入request.headers[‘cookie’] = cookies_str

(3)利用request的cookies属性传入cookies

首先在settings.py中，将cookies设置成TRUE，或注释掉，其默认就是True。

利用split(‘;’)和split(‘=’)获取列表，生成cookies字典

Request.cookies = cookies

二、在爬虫中间件中也可以修改request参数

爬虫中间件的类中也个process_start_requests(self, start_requests, spider)方法，其中start_requests为request对象的列表，我们可以利用request.replace()方法将其参数按我们的要求修改，方法参照上文。

正常POST请求登录

方法一

在爬虫件中的parse()方法中发出POST登录请求

先取得网页登录url，即login_url和登录时的参数变量名(输入错误的用户名或密码)，捕捉相关数据。

在parse()方法中增加以下代码:

def parse(self, response):

        user = “aaa”

        password = “123456”

        post_data = {“user”:”aaa”, “password”: “123456”}

        yield scrapy.FormRequest(url=login_url, formdata=post_data, callback=parse_login)

def parse_login(self, response):

        Pass

方法二

在parse()方法中增加以下代码:

def parse(self, response):

        yield scrapy.FormRequest.from_response(

                                                response,

                                                formdata=user ={

                                                                        “user”: ”aaa”,

                                                                        “password”: “123456”

                                                                                },

                                                 callback=parse_login

                                                )

def parse_login(self, response):

        pass

这二者方法要根据对login_url发送GET请求后的结果而定。

当GET请求返回的是提示信息，则用第一种方法，如果返回的是登录窗口，则用第二种方法。

注意：使用 FormRequest() 方法发送 POST 请求一定要重写 start_requests() 方法