R语言网络爬虫工具中比较常用的包有RCurl、XML、rvest等,本文以新浪财经频道A股交易数据的抓取为例简单总结一下rvest包的用法。
首先介绍一下我们要抓取的对象,我们以“中信证券(600030)”为例,抓取其日度交易数据。url地址为http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_FuQuanMarketHistory/stockid/600030.phtml,如下图所示,我们需要的数据就是红框标出的表格:
接下来介绍一下我们使用的工具——rvest包,它主要包含read_html、html_form、html_nodes、html_session、html_table、html_text等函数,本文将着重介绍read_html、html_nodes、html_table和html_text的用法。
read_html(x,..., encoding = "")
read_html函数用于读取整个网页或者本地数据。其主要参数为:
x 可以是url地址、本地路径、含有html的字符串或者httr响应。
encoding 是文件使用的编码。
install.packages('rvest')
library(rvest)url <- 'http://vip.stock.finance.sina.com.cn/co