R语言爬虫：使用R语言爬取豆瓣电影数据

最新推荐文章于 2021-06-29 17:43:59 发布

aiairen0123

最新推荐文章于 2021-06-29 17:43:59 发布

阅读量2.7k

点赞数 1

文章标签： r语言爬虫

原文链接：http://www.cnblogs.com/xihehe/p/8309023.html

版权

本文介绍了如何使用R语言进行网络爬虫，重点是爬取豆瓣电影排名前25位的电影信息及其用户评价。通过实例展示了R语言在数据抓取和分析方面的应用。

摘要由CSDN通过智能技术生成

豆瓣排名前25电影及评价爬取

url <-'http://movie.douban.com/top250?format=text'
# 获取网页原代码，以行的形式存放在web 变量中
web <- readLines(url,encoding="UTF-8")
# 找到包含电影名称的行
name <- str_extract_all(string = web, pattern = '<span class="title">.+</span>')
movie.names_line <- unlist(name)
# 用正则表达式来提取电影名
movie.names <- str_extract(string = movie.names_line, pattern = ">[^&].+<") %>% 
    str_replace_all(string = ., pattern = ">|<",replacement = "")
movie.names <- na.omit(movie.names)
# 获取评价人数
Rating <- str_extract_all(string = web,pattern = '<span>[:digit:]+人评价</span>')
Rating.num_line <- unlist(Rating)
Rating.num <- str_extract(string = Rating.num_line, pattern = "[:digit:]+") %>% as.num