爬虫资料之爬虫流程

◆ 多页面爬虫流程：

有的网页存在多页的情况，每页的网页结构都相同或类似，这种类型的网页爬虫流
程为：

1. 手动翻页并观察各网页的URL 构成特点，构造出所有页面的URL 存入列表中。
2. 根据URL 列表依次循环取出URL 。
3. 定义爬虫函数。
4. 循环调用爬虫函数，存储数据。
5. 循环完毕，结束爬虫程序

◆ 跨页面爬虫流程：

1. 定义爬取函数爬取列表页的所有专题的URL
2. 将专题URL 存入列表中（种子URL）
3. 定义爬取详细页数据函数
4. 进入专题详细页面爬取详细页数据。
5. 存储数据，循环完毕，结束爬虫程序