Python爬取豆瓣电影

前几天做了一个爬取豆瓣Top250电影的爬虫，在爬取了豆瓣Top250的电影后，想试一试根据电影类别爬取所有的豆瓣电影，基本的原理是想通的。代码采用Python，抠取页面内容采用Beautiful Soup。

1.豆瓣电影分析

以豆瓣爱情类型电影为例，在浏览区中输入http://www.douban.com/tag/%E7%88%B1%E6%83%85/movie?start=0后显示的内容如下图所示：

可以看到每个电影以列表显示展现，每页显示15条电影信息。每一条的电影信息包括电影名称、国家或地区、电影类型、导演、主演，如果需要查看详细的电影信息需要每个电影的详情页面。

2.获取豆瓣电影类别

要根据电影类型爬取电影需要先获取所有的电影类别。

在Chrome浏览器中通过F12分析页面内容，可以看到类别是处于id为'article'的div标签中。

获取每一条类别名称，并存放于List中。

3.根据电影类别爬取电影列表

在获取了所有的类别标签后，依次遍历每一个类别标签，根据类别名称获取此类别的电影。查看类别电影列表的源码特点

所有的电影列表处于<div class="mod movie-list">之中，每一个电影在dl中。采用Beautiful Soup获取电影列表，然后分析每一个电影信息，获取电影详情页面的URL，下面代码中的detail_url即为电影详情页面的URL

获取到URL之后，再次爬取单个电影页面，获取电影的电影名称、导演、编剧、主演、类型、制品国家或地区、语言、上映时间、片长、豆瓣评分、剧情简介信息。

获取豆瓣评分及剧情介绍代码：

4.将电影信息插入到数据库中

在处理中每爬取一页内容即把数据存放于数据库中。

爬取的电影信息总共有26302条