R语言爬虫：豆瓣电影Top250（二）

最新推荐文章于 2024-09-26 14:37:25 发布

woooooood

最新推荐文章于 2024-09-26 14:37:25 发布

阅读量3.5k

点赞数 3

分类专栏：学习记录文章标签： R

本文链接：https://blog.csdn.net/woooooood/article/details/82975520

版权

本文介绍了如何使用R语言进行网络爬虫，聚焦于提取豆瓣电影Top250列表中电影的主演、导演以及上映时间、国家和类型等信息。通过正则表达式和CSS选择器解析HTML，但需要注意豆瓣的反爬虫策略，避免频繁请求导致IP被封。

摘要由CSDN通过智能技术生成

时间：2018年十一假期（学习） 2018-10-8（记录）
参考：R语言爬虫-RCurl和XML学习笔记
爬取内容：豆瓣电影Top250：主演及导演

R语言爬虫：豆瓣电影Top250（二）

提取其他信息中所需内容

从其他信息（information）中提取上映时间，国家以及影片类型。以第一个元素为例：

> information[1]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...                            1994 / 美国 / 犯罪 剧情  
> information <- gsub("\n", "", information)   # 去除“\n”
> information[1]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...                            1994 / 美国 / 犯罪 剧情

使用正则表达式将其中的四位数字即上映时间提取出来，并将其转为数值型：

> date_data <- str_extract(information[1], "[0-9]{4}")
> date <- as.numeric(date_data)
> date
[1] 1994

将information的第一个元素用strsplit函数，按“/”分割开：

> d <- strsplit(information[1], split = "/")
> d
[[1]]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins "
[2] "...                            1994 "                                                             
[3] " 美国 "