R语言爬虫:豆瓣电影Top250(二)

时间:2018年十一假期(学习) 2018-10-8(记录)参考:R语言爬虫-RCurl和XML学习笔记爬取内容:豆瓣电影Top250:主演及导演R语言爬虫:豆瓣电影Top250(二)提取其他信息中所需内容从其他信息(information)中提取上映时间,国家以及影片类型。以第一个元素为例:> information[1][1] " ...
摘要由CSDN通过智能技术生成

时间:2018年十一假期(学习) 2018-10-8(记录)
参考:R语言爬虫-RCurl和XML学习笔记
爬取内容:豆瓣电影Top250:主演及导演


R语言爬虫:豆瓣电影Top250(二)

提取其他信息中所需内容

从其他信息(information)中提取上映时间,国家以及影片类型。以第一个元素为例:

> information[1]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...                            1994 / 美国 / 犯罪 剧情  
> information <- gsub("\n", "", information)   # 去除“\n”
> information[1]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...                            1994 / 美国 / 犯罪 剧情      

使用正则表达式将其中的四位数字即上映时间提取出来,并将其转为数值型:

> date_data <- str_extract(information[1], "[0-9]{4}")
> date <- as.numeric(date_data)
> date
[1] 1994

将information的第一个元素用strsplit函数,按“/”分割开:

> d <- strsplit(information[1], split = "/")
> d
[[1]]
[1] "                            导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins "
[2] "...                            1994 "                                                             
[3] " 美国 "      
  • 3
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
好的,这个问题我可以回答给你。为了爬取豆瓣电影Top250的电影导演、类型、年份、主演等信息,你可以使用 Python 爬虫,具体步骤如下: 1. 安装 requests、beautifulsoup4 等相关库,可以使用 pip install 进行安装。 2. 使用 requests 库获取豆瓣电影 Top250 页面的 HTML 内容,并使用 beautifulsoup4 库解析 HTML 内容。 3. 使用 CSS 选择器或 XPath 表达式从 HTML 中提取需要的信息,例如电影名称、导演、类型、年份、主演等。 4. 将提取到的信息保存到文件或数据库中。 下面是一个简单的示例代码,可以获取豆瓣电影 Top250 的电影名称和导演信息: ```python import requests from bs4 import BeautifulSoup url = 'https://movie.douban.com/top250' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movies = soup.select('.info') for movie in movies: title = movie.select_one('.title').get_text() directors = movie.select_one('.bd p:nth-of-type(1)').get_text().strip().split('\xa0\xa0\xa0') print(title, directors) ``` 这段代码使用 requests 库发送 GET 请求获取豆瓣电影 Top250 页面的 HTML 内容,然后使用 BeautifulSoup 库解析 HTML 内容。使用 CSS 选择器 `.info` 获取每个电影的信息块,然后从信息块中使用 CSS 选择器 `.title` 获取电影名称,使用 `.bd p:nth-of-type(1)` 获取电影导演信息,并对导演信息进行处理后输出。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值