写爬虫前必懂的简单的爬虫原理

爬虫原理

1.1 网络连接

       网络连接像是在自助饮料售货机上购买饮料一样：购买者只需选择所需饮料，投入硬币（或纸币），自助饮料售货机就会弹出相应的商品。如下图所示，计算机（购买者）带着请求头和消息体（硬币和所需饮料）向服务器（自助饮料售货机）发起一次Request请求（购买），相应的服务器（自助饮料售货机）会返回本计算机相应的HTML文件作为Response（相应的商品）。

1.2 爬虫原理

       了解网络连接的基本原理后，爬虫原理就很好理解了。网络连接需要计算机一次Request请求和服务器端的Response回应。爬虫也是需要做两件事：

（1）      模拟计算机对服务器发起Request请求。

（2）      接收服务器端的Response内容并解析、提取所需的信息。

        但互联网网页错综复杂，一次的请求和回应不能够批量获取网页的数据，这时就需要设计爬虫的流程。

1.2.1 多页面爬虫流程

        多页面网页结构如下图：

    有的网页存在多页的情况，每页的网页结构都相同或类似，这种类型的网页爬虫流程为：

（1）手动翻页并观察各网页的URL构成特点（利用浏览器中的开发者工具，查看网页代码），构造出所有页面的URL存入列表中。

（2）根据URL列表依次循环取出URL。

（3）定义爬虫函数。

（4）循环调用爬虫函数，存储数据。

（5）循环完毕，结束爬虫程序。

流程图如下：

1.2.2 跨页面爬虫流程

        列表页和详细页分别如下图：

    这种跨页面的爬虫程序流程为：

（1）定义爬取函数爬取列表页的所有专题的URL。（也是利用浏览器的开发者工具查看网页代码）

（2）将专题URL存入列表中（种子URL）。

（3）定义爬取详细页数据函数。

（4）进入专题详细页面爬取详细页数据。

（5）存储数据，循环完毕，结束爬虫程序。

流程图如下：

1.3 爬虫代码设计思路总结

蜘蛛类中的内容（亦为爬虫）：

1>URL管理器（一般用列表保存，URL简单来讲就是网址）

2>网页下载器（将网页下载下来）

3>网页解析器（将下载下来的网页进行分析，得到想要得到的数据）

本文是由小编看书，以及观看网络视频后的总结，如涉及侵权问题，请及时告知小编，谢谢~