R语言基于selenium模拟浏览器操作进行（AJAX渲染网页、动态网页）数据爬取-连载NO.02（更新中）

最新推荐文章于 2022-09-19 21:13:35 发布

LEEBELOVED

最新推荐文章于 2022-09-19 21:13:35 发布

阅读量2.1k

点赞数 1

分类专栏： R语言《实用经验随笔》BY灵魂体验官文章标签： R语言爬虫 selenium webdriver 动态网页

本文链接：https://blog.csdn.net/LEEBELOVED/article/details/90372324

版权

R语言动态网页数据爬取用法连载NO.02

selenium是一个开源的软件套件。selenium通过浏览器控制与网页进行交互，这样我们可以操作实时DOM树（浏览器窗口中视觉显示的方式）。

selenium可以控制浏览器实现文本输入、点击、滚动、滑动的操作。

可进行身份验证哦

使用selenium之前需要初始化selenium java server，server负责浏览器的启动与关闭。

使用Rselenium/Rwebdriver模拟浏览器操作抓取数据：

在Rstudio中通过selenium api打开一个新的firefox窗口：

Rselenium包下打开firefox

remDr <- remoteDriver(browserName ="firefox")
system("java -jar \"D:/selenium-server-standalone-3.141.59.jar\"",wait = FALSE)
remDr$open()

Rwebdriver包下打开firefox

关于Rwebdriver下载失败或者无法下载的问题，这里给出解决方案为：

首先你需要下载Rtools工具并安装，其次下载包不用install.packages，而是install_github，直接从github下载所需包，下载这个作者的install_github("crubba/Rwebdriver")，即可完美解决

library(Rwebdriver)
#打开浏览器之前先要启动selenium server
system("java -jar \"E:/selenium-server-standalone-3.141.59.jar\"",wait = FALSE)
#root为selenium java server的地址（默认地址如下），把firefox传递给参数browser是告诉服务器生成一个firefox浏览器窗口
start_session(root="http://localhost:4444/wd/hub/",browser="firefox")