python爬虫基本功(二)--爬虫所需网络协议知识超详细总结（上）

前言

网络爬虫🐛，离不开网络🌐，所以在开始学习爬虫之前，我们要对网络工程中的一些基础知识要有一些了解。本文适于python爬虫学习所需网络工程知识、网络工程小白以及追求提升自己的IT学习者们！

---

✒️什么是协议

协议可理解为我们生活中的“规则”。如国法、校规、家规，这些规则都是对我们行为起到一个规范的作用。而这里的规则，是数据传输和数据的解释的规则。而在学习爬虫知识过程中，与我们打交道最多的协议，便是HTTP协议。
也许这样讲，协议的概念还是有点抽象，没关系，Kaiser最爱举例说明了。来！我们假设有一发送方和一接收方，这两者之间进行传输文件，发送方与接收方规定要传输三次：第一次，发送方发送文件名，接收方收到文件名后回一个OK给发送方；第二次，发送方发送文件尺寸，接收方收到文件尺寸后再回一个OK；第三次，发送方发送文件内容，接收方还是回一个OK去表示文件内容接受是成功的。同样的，这两者之间无论传输什么文件，都可以通过这样三次数据传输来传输完成。

发送方与接收方之间形成了最简单的数据传输规则，双方都会按照这个规则去发送和接收数据。那么，发送方与接收方之间达成的相互遵守的规则称为协议。这个协议可以被所有人采用，从而不断的去进行增加、维护和改善，最终形成了一个稳定而完整的协议，从而可被应用于各种数据传输当中。这时，此协议便形成了被大家公认的标准协议。
在网络中存在很多协议，发送方与接收方间协议要保持一致，如同我们人与人交流一般，都用中文进行交流。否则人与人无法交流，同理，发送方与接收方无法进行数据传输。
然后，Kaiser主要为大家讲一下网络通信协议tcp/ip。在开始讲tcp/ip之前，得先给大家讲一下OSI七层参考模型（小声：这几个知识点都是是重点额！一般人，我不告诉他）。

---

✒️OSI七层参考模型

在计算机网络产生初期，每个计算机厂商都有独属于它们自己的网络体系结构概念。它们之间互不兼容。为此，国际标准化组织ISO在1979年建成立一个分委会专门去研究一种用于开放系统互联的网络体系结构，即现在的OSI参考模型。只要遵循了OSI模型标准，那么一个系统可以和位于世界上任何地方的也同样遵循OSI标准的其它任何系统进行连接，即OSI参考模型定义了电脑互联的标准框架。
OSI参考模型分为七层且各层有自己的分工(从上往下，顺序不可乱！)。
7️⃣应用层：提供应用程序间通信。
6️⃣表示层：处理数据格式、数据加密等。
5️⃣会话层：建立、维护和管理会话。
4️⃣传输层：建立主机端到端连接。传输层我们可以想象成电脑中的应用，但传输层是在应用的最底层，它是建立了主机端到端之间的连接。
3️⃣网络层：寻址和路由选择。可与数据链路层一起想象成我们电脑中的网卡，网卡的驱动可以实现介质的访问、链路的管理等功能，网卡还能设置IP地址进行路由寻址。
2️⃣数据链路层：提供介质访问、链路管理等。
1️⃣物理层：比特流传输。可想象成家里的网线，在网线中，数据是以比特流的形式产生的。