scrapy爬取需要登录的网站（知乎）

最新推荐文章于 2024-08-05 20:06:05 发布

BigDong305

最新推荐文章于 2024-08-05 20:06:05 发布

阅读量4.3k

点赞数

分类专栏： python 文章标签： selenium自动登录 cookies登录

本文链接：https://blog.csdn.net/qq_39965716/article/details/80623605

版权

本文介绍了两种方法通过selenium自动登录知乎，并将cookies应用于Scrapy爬虫，以爬取需要登录状态的数据。第一种方法是在middlewares.py中结合selenium操作，第二种方法直接在myzhihu.py中处理。

摘要由CSDN通过智能技术生成

法一：使用selenium

在middlewares.py中

import time
from scrapy import signals
from selenium import webdriver
from scrapy.http import HtmlResponse
import requests

class LoginMiddle(object):
    def process_request(self,request,spider):
        if spider.name=='myzhihu':#判断是哪个爬虫名
            if request.url.find('signup')!=-1:#这里signup是在链接中的signup，-1表示未登陆
                spider.broswer=webdriver.Chrome()
                spider.broswer.get(request.url)#获取url，myzhihu中的start_url
                time.sleep(1)
                spider.broswer.find_element_by_xpath('//div[@class="SignContainer-switch"]/span').click()
                time.sleep(1)
                #获取输入框
                username=spider.broswer.find_element_by_name('username')#
                password=spider.broswer.find_element_by_name('password')
                #传值