通过selenium来模拟登录,获取登录后的cookies

本文介绍了如何利用Selenium WebDriver模拟登录网站并获取登录后的Cookies。内容包括实验环境(Windows 7, Firefox v50.1.0, geckodriver v0.14)、主要步骤(配置参数、页面加载、元素操作、提交表单、获取及保存Cookies)、注意事项(如设置geckodriver路径、处理页面加载延迟)以及所需的依赖库。同时提供了登录CSDN的示例代码,供读者参考。" 115017583,8365730,手动实现限流降级队列 | Java并发工具实战,"['Java', '并发编程', 'Spring Cloud', '限流算法', '降级策略']
摘要由CSDN通过智能技术生成

背景

抓取序需要登录的页面数据。
操作需要登录权限的资源。

实验环境

  • windows 7
  • firefox_v50.1.0
  • geckodriver_v0.14

简介

Selenium webdriver 是一个用于web应用程序的自动化测试工具。
具有一系列的API来操作浏览器。
可以模拟用户操作页面元素。

主要步骤

  1. 配置参数,初始化driver
  2. 加载url
  3. 等待页面加载
  4. 获取页面元素
  5. 操作页面元素
  6. 提交表单
  7. 获取 cookies
  8. 保存cookies

注意事项

  • 老的版本上,会要设置firefox的路径,但是这个版本只需要设置gecko的路径。gecko需要在git上下载下来。
  • 因为是开启浏览器加载页面,所以需要一些延时来等待页面加载。可以设置时间,也可以设置检测某个元素存在等。
  • cookies是保存到了org.apache.http.client.CookieStore中,然后序列化到文件中,用于下次读取,用httpclient来抓数据。

所需要的依赖

在pom.xml的dependencies中加入

    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>fluent-hc</artifactId>
        <version>4.5.2</version>
    </dependency>
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-firefox-driver</artifactId>
        <version>3.0.1</version>
    </dep
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值