webmagic-selenium 找不到config.ini文件

本文介绍了在使用webmagic-selenium时遇到config.ini文件找不到的问题。解释了selenium的作用,详细步骤指导如何下载webmagic-selenium源码,修改WebDriverPool类的源码,重新打包并替换本地仓库的jar包,最后添加自定义的config.ini文件。
摘要由CSDN通过智能技术生成

webmagci-selenium

webmagic-selenium 是整合了selenium,但是自从2017年之后作者再也没有维护webmagci-selenium,所以遗留了一些问题。

1.为什么使用selenium

selenium是一个模拟浏览器,通过selenium的API可以与浏览器的内核进行交互,在爬虫中使用selenium技术可以解决JS的渲染问题,从而获得我们想爬取的数据。

2.下载webmagic-selenium

2.1Maven中获取依赖

远程仓库下载地址,选择最新的0.7.3版本。

通过Maven远程仓库下载的jar包,在读取config.ini文件在控制台会有异常提示:config.ini文件不存在。
主要原因:是作者在源码中把config.ini的路径写死了,所以读取不到。

2.2下载最新0.7.3版本源码

1.下载地址,解压压缩包。
2.使用开发工具IDEA,打开webmagic-selenium文件。
3.修改WebDriverPool类两处源码,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值