vb net的定时循环_R语言爬虫:RSelenium定时爬虫的那些坑

无可否认,相比于只能爬静态网页数据的rvest,基于Selenuim的RSelenium及Rwebdriver有着巨大优势。但RSelenium使用起来比较麻烦,需要装Selenium等依赖软件,配上定时任务之后简直是个无敌巨坑,本次就来记录一下。

如果你想用RSelenium来模拟浏览器操作爬取数据,那么最好跟着比较详细的教程来:

CSDN-专业IT技术社区-登录​blog.csdn.net CSDN-专业IT技术社区-登录​blog.csdn.net

跟着这两篇文章来装依赖软件,基本上可以避过很多坑。

再来是在Rstudio里面运行时我遇到的坑,如果在运行中遇到错误,这里有一些经验供参考:

  • 如果电脑里有一些会影响ip的软件(你懂的),那么需要把这些软件停了,不然remoteDriver会报错。
  • 抓取元素时要确定返回的是webElement对象还是list,如果返回的是list的话需要把webElement提取出来再调用webElement相关函数。详见:
https://stackoverflow.com/questions/43833649/get-element-text-using-rselenium?r=SearchResults​stackoverflow.com

再来谈定时运行。taskscheduleR包能在R环境里设置定时运行任务,其中有图形交互界面可以很方便的通过鼠标测试。但要是你的任务没有顺利运行,应该用函数来设定任务并查看错误,例如:

>library(taskscheduleR)
>myscript<-"bdtop.R"
>taskschedul
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值