『Scrapy』登陆知乎中遇到的各种坑

1、在请求登陆页面时报错： 500 Internal Server Error

解决办法：在 Request() 中添加 header 信息

如：

# 重写爬虫类的方法，实现自定义请求
    def start_requests(self):
        return [Request("https://www.zhihu.com/#signin", headers=settings["HEADER"], cookies=settings["COOKIE"],
                        meta={"cookiejar": 1}, callback=self.post_login)]

注：settings["HEADER"] 和 settings["COOKIe"] 可以通过浏览器获得

2、需要先获取 xsrf 的值

方法如下： 

xsrf = Selector(response).xpath('//input[@name="_xsrf"]/@value').extract()[0]

3、不要在 COOKIE 中设置 xsrf ，由于知乎每次返回的 xsrf 都不同，所以每次都要重新获取，而如果在 COOKIE 中设置了，则即使获取了新的 xsrf ，也不会取代旧的

4、在 3 的基础上，不要在 COOKIE 中设置 xsrf，而是在 formdata 中设置

formdata={ "_xsrf": xsrf,
           "email": "1905199415@qq.com",
           "password": self.passwd,
           "captcha_type": "cn",
},

5、登陆时请求的 URL 不是 "https://www.zhihu.com/#signin"， 而是请求 "https://www.zhihu.com/login/email"

6、formdata 关键字的获得技巧

首先在浏览器中打开网站登陆页面，然后打开按 F12(谷歌浏览器Chrome)，然后点击 NetWork ，然后输入用户名和故意输错的密码，再点击提交，然后在刷新出来的 URL 中找到有 Form Data 的 URL，并获得关键字

7、