scrapy之创建一个具有登录功能的爬虫

今天在学习scrapy learning的过程中，实践了模拟登陆的POST请求。

首先我们解析目标页面，这里选取的是51job

打开登录页：https://login.51job.com/login.php?lang=c
然后F12打开调试页面，输入好账号密码后点击登陆，然后查看network中的请求包。（这里51job有可能会检测帐号异地登陆，然后要求滑动滑块进行人机验证，但登录好后，帐号的登陆地会被重置，下一次登陆的时候就不要求滑动滑块了）

查看数据包后，我们发现第一个数据包是POST请求，发送了帐号密码等数据表单。然后就会被重定向到个人页面，在这个页面可以看到自己的个人信息。

好，解析页面结束，我们就以爬取到个人页面的姓名为目标构建爬虫。

新建一个爬虫，一般性的设置就不提了。这里注意，要将start_url取消掉，转而创建一个start_request函数。

from scrapy.http import FormRequest

    def start_requests(self):
        return [
            FormRequest(
                "https://login.51job.com/login.php?lang=c",
                formdata={"lang":"c","action":"save","from_domain":"i","loginname": "xxxxxxxx7", "password": "xxxxxxxxx"}
            ,callback=self.parse,dont_filter=True)]

这里首先要import FormRequest，然后我们就可以利用这个函数发送表单，进行POST请求。根据这个实例我们可以看到我们需要传送的参数以及类型。具体的参数要到chrome的调试页面看具体表单。

callback设定我们的页面解析函数，用于爬取登录成功后被重定向的页面信息。