webmagic ----eclipse模拟登录(通过Selenium)

本文介绍使用Selenium在Eclipse中模拟登录,结合Webmagic爬虫抓取需要授权的数据。首先需搭建Selenium自动化环境,然后编写代码进行模拟登录并展示运行结果。
摘要由CSDN通过智能技术生成

本文章是上一篇文章的第二种方法(依旧是需要登录才能爬去取所需数据的一个小demo)

方法一比较简单也有点麻烦因为需要自己手动添加cookie(见上篇文章):https://blog.csdn.net/weixin_42162388/article/details/81352169
方法二:这个方法开始介绍通过Selenium模拟登录爬虫
要想在eclipse中使用selenium,必须首先搭建好基于Selenium的自动化环境,这步骤在之前写的文章中有详细介绍(点击此处查看搭建Selenium环境
然后就可以开始写代码了(这里模拟登录后爬取)

package linll.cn.PageProcessor.Maven;

import org.openqa.selenium.By;
import org.openqa.selenium.Cookie;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium
  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值