爬取豆瓣Top250

用requests库爬取豆瓣Top250

1.requests库

requests库可以自动爬取HTML页面，自动网络请求提交。安装方法：pip install requests
requests库主要有7个方法：

requests库爬取豆瓣Top250

首先打开网页 豆瓣Top250 网址：https://movie.douban.com/top250?start=0&filter=
然后f12，得到如下图：

我们要找的内容在红框里面。

这个页面有25个电影，第一个页面 https://movie.douban.com/top250?start=0&filter=
第二个页面 https://movie.douban.com/top250?start=25&filter=
我们可以观察到 每个页面25部电影，一共10个页面。这里我们用一个循环：

for i in range(0,250,25):
    url = 'https://movie.douban.com/top250?star