Python爬虫：如何爬取分页数据？

上一篇文章《Python爬虫：爬取人人都是产品经理的数据》中说了爬取单页数据的方法，这篇文章详细解释如何爬取多页数据。

爬取对象：

有融网理财项目列表页【履约中】状态下的前10页数据，地址：https://www.yrw.com/products/list-all-all-performance-1-createTimeDesc-1.html

编程思路：

1. 寻找分页地址的变动规律 2. 解析网页，获取内容，放入自定义函数中 3. 调用函数，输出分页内容

详细解说：

1. 首先插入用到的库：BeautifulSoup、requests

1 from bs4 import BeautifulSoup
2 import requests

2. 观察地址的变化规律，可以看到，每切换一页时，后面“createTimeDesc-1.html”中的数字1会随着页面的变动而变动，此时我们将地址存放进列表中，后面用format()和for循环来实现多个地址的存储。

1 urls = ['https://www.yrw.com/products/list-direct-all-performance-1