###爬虫原理###
计算机的一次Request请求和服务器端的Response回应,即实现了网络连接。
Request(请求头和消息体)
------------------------------------------------------->
【计算机】 【服务器】
<------------------------------------------------------
Response(HTML文件)
#以上便是:网络连接原理
一、多页面爬虫流程
1>手动翻页并观察个网页的URL构成特点,构造出所有页面的URL存入列表中
2>根据URL列表依次循环取出URL
3>定义爬虫函数
4>循环调用爬虫函数,存储数据
5>循环完毕,结束爬虫程序
二、跨页面爬虫流程
1>定义爬取函数爬取列表页的所有专题URL。
2>将专题URL存入列表中(种子URL)。
3>定义爬取详细页数据函数。
4>进入专题详细页面爬取详细页数据。
5>存储数据,循环完毕,结束爬虫程序。
####网页构造####