在scrapy集合selenium模拟登陆获取cookie

最新推荐文章于 2024-08-22 16:52:33 发布

夜逍尘

最新推荐文章于 2024-08-22 16:52:33 发布

阅读量340

点赞数 1

分类专栏： python爬虫文章标签： selenium chrome python

本文链接：https://blog.csdn.net/weixin_50589453/article/details/115403797

版权

python爬虫专栏收录该内容

37 篇文章 1 订阅

订阅专栏

该博客介绍了如何在Scrapy中间件中利用Selenium和Chrome浏览器进行网页交互，具体步骤包括打开豆瓣网站，手动输入账号和密码进行登录，并在成功登录后获取cookies。这个过程对于自动化爬虫在需要登录的网站抓取数据时非常有用。

摘要由CSDN通过智能技术生成

from fake_useragent import UserAgent
from selenium import webdriver
from scrapy.http.response.html import HtmlResponse
import time


class seleniumMiddleware:
    driver = webdriver.Chrome()
    def process_request(self, request, spider):


        self.driver.get('https://www.douban.com')
        time.sleep(5)

		zh=input('请输入账号')
		mm=input('请输入密码')
        time.sleep(3)
        self.driver.switch_to.frame(self.driver.find_element_by_xpath('//*[@id="anony-reg-new"]/div/div[1]/iframe'))
        time.sleep(1)
        self.driver.find_element_by_class_name('account-tab-account').click()
        time.sleep(1)
        self.driver.find_element_by_name('username').send_keys(zh)
        time.sleep(1)
        self.driver.find_element_by_name('password').send_keys(mm)
        time.sleep(1)
        self.driver.find_element_by_class_name('btn').click()
        time.sleep(2)
        cookies = self.driver.get_cookies()
        cookie = [i['name'] + '=' + i['value'] for i in cookies]
        cookie_str = '; '.join(i for i in cookie)
        sts = {i.split('=')[0]: i.split('=')[1] for i in cookie_str.split('; ')}
        print(sts)




        response = HtmlResponse(request.url,body=self.driver.page_source,request=request,encoding='utf-8')

        return response