爬虫之--使用selenium实现代码登录网页，获取cookie并且爬取网页内容

最新推荐文章于 2024-07-21 10:00:00 发布

chentao3419

最新推荐文章于 2024-07-21 10:00:00 发布

阅读量3k

点赞数 1

分类专栏： selenium 文章标签： selenium

本文链接：https://blog.csdn.net/chentao3419/article/details/81941527

版权

本文详细介绍了如何利用selenium库进行网页登录，获取cookie，并利用cookie爬取受保护的网页内容。通过对实际操作的步骤解析，帮助读者掌握自动化登录和爬取的技巧。

摘要由CSDN通过智能技术生成

    from selenium import webdriver
    import requests






    url = 'https://passport.lagou.com/login/login.html?ts=1534840857278&serviceId=lagou&service=https%253A%252F%252Fwww.lagou.com%252F&action=login&signature=7DF89D53F89F8440B1523001C02952DD'
    driver = webdriver.Chrome()
        #登录时没有验证码的情况下可以不打开浏览器，selenium
        # option_chrome = webdriver.ChromeOptions()
        # option_chrome.add_argument('--headless')
        # driver = webdriver.Chrome(chrome_options=option_chrome)

    driver.get(url)

    driver.find_element_by_xpath('//input[@placeholder="请输入常用手机号/邮箱"]').send_keys('18601327484')
    driver.find_element_by_xpath('//input[@placeholder="请输入密码"]').send_keys('15835791918ctDW')
    driver.find_element_by_xpath('//input[@class="btn btn_green btn_active btn_block btn_lg"]').click()

    cookie