python爬取万方数据库_Python3爬取豆瓣电影保存到MySQL数据库

48行代码实现Python3爬取豆瓣电影排行榜

代码基于python3，用到的类库有:

requests:通过伪造请求头或设置代理等方式获取页面内容，参考文档

BeautifulSoup:对页面进行解析，提取数据，参考文档

PyMySQL:python3版本中用于操作MySQL数据库，python2中则使用mysqldb，Github

pip安装用到的几个类库:

pip install requests

pip install bs4

pip install pymysql

分析豆瓣电影页面

页面分析:

爬取数据之前，我们都需要对页面进行分析，看我们可以从中提取到哪些数据，从下图我们看到豆瓣电影top250的页面结构，我们可以从中提取出排行榜(rank)、电影名字(name)、电影详情页链接(link)、电影海报(poster)、电影评分(score)、电影评论(quote)等，我在图中进行了标注

URL分析:

通过点击分页我们可以发现URL的格式为:https://movie.douban.com/top250?start=num&filter=

其中num表示25的倍数的数字，最小是0也就是第一页，最大为225也就是最后一页，这可以作为我们爬取页面的限制条件，filter为过滤条件这里可不用管

代码

引入类库:

import pymysql

import requests

from bs4 import BeautifulSoup