爬取豆瓣250

1.安装jupyter编程环境

1.window+r健，回车确定；安装命令：pip install jupyter
2F盘（可在任意盘）新建文件夹python，在python文件夹里新建一个豆瓣250文件夹，打开豆瓣文件夹，按住文件夹上面，输入cmd;之后回车
在这里插入代码片
安装命令jupyter notebook
以下便安装成功，然后自动跳到编程环境页面
进入python3后就可以进行编程了。

2.网页分析

1.分析URL链接
第一页：https://movie.douban.com/top250 或 https://movie.douban.com/top250?start=0&filter=
第二页：https://movie.douban.com/top250?start=25&filter=
第三页：https://movie.douban.com/top250?start=50&filter=
第四页：https://movie.douban.com/top250?start=75&filter=
分析结果：从此可以看出，一至四页的URL链接是有规律 的，star=的后面，每个链接之间相差数字25

2.用for循环表示这个分析结果

for page in range(0,226,25):

结果如下

3.用page函数表示这10页的url链接

for page in range(0,226,25):
     url='https://movie.douban.com/top250?start=%s&filter='%page #(%page上一行的page)

将start=0改为start=%s,后面跟的%page表示将page函数中的数 值范围赋予给s,即可一次性构造出十个网页的链接

运行结果如下：

3.爬取网页

1请求网页源代码/即html
实现这个目的，需要在python中安装request库，命令为pip install requests

以请求第一页为例：

test_url='https://movie.douban.com/top250?start=0&filter='#''格式化为字符串

此处的单引号也可以写成双引号，目的都是为了把括号内的内容变为字符串。打符号是是在英文状态下进行的。

2.豆瓣250上检查代码
右击进入检查元素,点击网络(network),再点击所有（All）
对该网页进行刷新（可按CTRL+R进行刷新），下方会出现网页的组成元素，例如图片等

3.请求网址方法
按上一步操作后，点击下图中的第一页的链接，再点击右边的消息头，可看到请求网址以及请求方法
4.请求网页

test_url='https://movie.douban.com/top250?start=0&filter='#''格式化为字符串
requests.