R语言:rvest 包

1. rvest 介绍

网络爬虫是讲呈现在网页上以非结构格式(html)存储的数据转化为结构化数据的技术,该技术非常简单易用。

rvest是R用户使用率最多的爬虫包,它简洁的语法可以解决大部分的爬虫问题。

1.1 基本使用方法

  1. 使用 read_html 读取网页;
  2. 通过 CSS 或 Xpath 获取所需要的节点并使用 html_nodes 读取节点内容;
  3. 结合 stringr 包对数据进行清理。

1.2 与Python的比较

  • Python倾向于做大型爬虫,与R相比,语法相对复杂,因此Python爬虫的学习曲线会相对陡峭。
  • 对于那些时间宝贵,又想从网上获取数据的初学者而言,用R做爬虫是最好的选择:
  1. R语法相对直观,规则更加灵活;
  2. 对于数据量不大的用户来数(小于百万级),R也能够非常自如地处理;
  3. 先学习R爬虫,等熟悉爬虫的原理之后,在过渡到Python是很容易的。

rvest的项目主页:https://cran.r-project.org/web/packages/rvest/index.html

2. 主要函数功能一览

2.1 读取与提取

  • read_html( ) 读取html文档的函数
  • html_nodes( ) 选择提取文档中指定元素的部分
  • html_name( ) 提取标签名称;
  • html_text( ) 提取标签内的文本;
  • html_attr( ) 提取指定属性的内容;
  • html_attrs( ) 提取所有的属性名称及其内容;
  • html_table( ) 解析网页数据表的数据到R的数据框中;
  • html_form( ) 提取表单。

2.2 乱码处理

  • guess_encoding( ) 用来探测文档的编码,方便我们在读入html文档时设置正确的编码格式
  • repair_encoding( ) 用来修复html文档读入后的乱码问题

2.3 行为模拟

  • set_values( ) 修改表单
  • submit_form( ) 提交表单
  • html_session( ) 模拟HTML浏览器会话
  • jump_to( ) 得到相对或绝对链接
  • follow_link( ) 通过表达式找到当前页面下的链接
  • session_history( ) 历史记录导航工具

3. 函数详解与实例

3.1 读取与提取

3.1.1 read_html

函数定义:read_html(x, encoding = "", ..., options = c("RECOVER", "NOERROR", "NOBLANKS"))

参数列表:

  • x  可以是url,本地路径,包含html的字符串,或者来自httr的请求如果x是URL参数就传递给GET()
  • encoding  文档的编码形式,查看iconvlist()有完整列表,他如果不能正确确定encoding方式可以尝试stri_enc_detect

应用实例:

3.1.2 html_nodes

函数定义:

  • html_nodes(x, css, xpath)
  • html_node(x, css, xpath)

html_node只输出一个元素。当给了一个节点列表时,html_node将返回一个长度相等的列表。

参数列表:

  • x 完整的文档(XMLInternalDocument),tags列表(XMLNodeSet),单一的tag(XMLInternalElementNode)
  • css, xpath 要收集的节点。css和xpath 两种selector方式可选(class用".", id用"#"与标签连接, 标签之间用空格, ">"指定的筛选条件的父级标签),可使用浏览器插件Selector Gadget辅助(chrome中的css viewer 和 xpath helper 也是神器)

应用实例:

3.1.3 html_name

函数定义:html_name(x)

参数列表:x 完整的文档(XMLInternalDocument),标签列表(XMLNodeSet)或(XMLInternalElementNode)

应用实例

3.1.4 html_text

函数定义:html_text(x, trim = FALSE)

参数列表:

  • x 完整的文档(XMLInternalDocument),标签列表(XMLNodeSet)或(XMLInternalElementNode)
  • trim 如果TRUE则过滤前后的空格

应用实例:

3.1.5 html_attr

函数定义:

  • html_attr(x, name, default = NA_character_)
  • html_attrs(x)

参数列表:

  • x 完整的文档(XMLInternalDocument),标签列表(XMLNodeSet)或(XMLInternalElementNode)
  • name 要提取的属性名
  • default 若任何一个节点的属性不存在则用这里设置的string参数

应用实例:

3.1.6 html_table

函数定义:html_table(x, header = NA, trim = TRUE, fill = FALSE, dec = ".")

参数列表:

  • x 网页文档、节点集或单个节点
  • header 如果为TRUE则使用第一行为列名,若为NA,当有<th>标签时使用第一行为列名
  • trim 如果为TRUE则过滤每个单元格前后的空格
  • fill 如果TRUE,自动填充缺失为NA
  • dec 字符转换为10进制

应用实例:

3.1.7 html_form

函数定义:html_form(x)

参数列表:x 网页文档、节点集或单个节点

应用实例:

3.2 乱码处理

3.2.1 guess_encoding

函数定义:guess_encoding(x)

参数列表:x 字符型向量

应用实例:

3.2.2 repair_encoding

函数定义:repair_encoding(x, from = NULL)

参数列表:

  • x 字符型向量
  • from 字符的实际编码格式

应用实例:

3.3 行为模拟

3.3.1 set_values( ) 修改表单

函数定义:set_values(form, ...)

参数列表:

  • form 要修改的表单
  • ... 针对要修改控件的的名-值对

应用实例:

3.3.2 submit_form

函数定义:submit_form(session, form, submit = NULL, ...)

参数列表:

  • session 要提交表单的会话
  • form  要提交的表单
  • submit 上传使用的button名,如果没有设置,默认为form第一个上传的button
  • ... GET()和POST()的附加参数

应用实例:

3.3.3 html_session

函数定义:

  • html_session(url, …)
  • is.session(x)

参数列表:

  • url 开始session的地址
  • ... 这整个session的httr配置参数
  • x 欲测试是否是session的object

方法:

一个session结构可以响应httr和html方法的操作:可以访问请求的属性,以及可以使用html_nodes访问html。

应用实例:

3.3.4 jump_to

函数定义:jump_to(x, url, ...)

参数列表:

  • x 一个会话
  • url 要访问的地址(相对或绝对)

应用实例:

函数定义:follow_link(x, i, css, xpath, ...)

参数列表:

  • x 一个会话
  • i 若为整型,则选择第i个链接;若为字符串,则选择包含该文本信息的第一个链接
  • css xpath 要选择的节点
  • ... 能应用到这个请求的任何httr配置

应用实例:

3.3.6 session_history

函数定义:

  • session_history(x)
  • back(x)

参数列表:x 一个会话

应用实例:

4、补充知识

4.1  包外API

  1. head( ) 检查数据
  2. as.numeric( ) 转化为数值型
  3. gsub( ) 移除" ", "\n", "\t"等
  4. as.factor( ) 转化为因子
  5. data.frame( ) 合并为数据框
  6. trycatch( ) 错误处理
  7. write.csv( ) 输出csv文件
  8. file.download( ) 下载网络文件
  9. read.table( ) 读取本地文件
  10. save( ) 保存变量到本地
  11. sapply( ) 向量化调用函数
  12. iconv( ) 转化编码格式
  13. rbind( ) 合并行
  14. paste( ) 连接字符串,多用来生成有规律的链接地址

4.2 关联package

  1. stringr 字符串处理
  2. RSelenium 模拟网页操作,可抓取动态页面
  3. ggplot2 数据可视化
  4. magrittr 辅助rvest

4.3 使用技巧

  1. 获取特定序位的html标签,用到了magrittr包里的extract2函数。下面两行代码都可以获得该网页中第一个<table>标签
    • ateam %>% html_nodes("table") %>% extract2(1) %>% html_nodes("img")
    • ateam %>% html_nodes("table") %>% `[[`(1) %>% html_nodes("img")
  2. %>%是管道操作符,意思是把左边的操作结果作为参数传递给右边的命令
  3. 需要换页的同类型页面的地址一般会有规律,找到规律后就可生成一系列地址
  4. 定位所需内容时,有时html_nodes+stringr更方便,不使用html_text
  5. 若爬取内容过多,可使用边爬边存或者分批处理等

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值