python爬虫——爬取豆瓣TOP250电影

相信很多朋友在看一部电影的时候喜欢先去豆瓣找一下网友对该片的评价。豆瓣作为国内最权威的电影评分网站，虽然有不少水军和精日精美分子，但是TOP250的电影还是不错的，值得一看。

爬取目标

本文将爬取豆瓣电影 TOP250 排行榜的电影名称、时间、主演和评分等信息，爬去的结果我们将以 excel 格式存储下来。

爬取分析

打开豆瓣电影 TOP250 我们会发现榜单主要显示电影名、主演、上映时间和评分。

通过对网页源码的分析我们发现电影的标题在 <div class=hd'>...</div> 标签中，主演和上映时间信息在 <div class=hd'>...</div> 中，电影评分在 <div class=star'>...</div> 中。所以我们调用 find_all方法，即可获得所有信息。

提取首页信息

def find_movies(res):
 soup = bs4.BeautifulSoup(res.text, 'html.parser')