嵌入式设备接入互联网的需求越来越大,要想深层次的理解和应用好网络传输,就不得不挖一下计算机网络模型的老底,从系统角度,对网络应用进行分析,做到心中有数
本文参考《【野火】LwIP应用开发实战指南——基于野火STM32全系列开发板》 和小林的「图解网络 3.0 」 两本书籍,对计算机网络协议和分层模型进行了非常浅显的总结,希望能抛砖引玉,如有纰漏,欢迎指出交流!
网络协议与分层模型
概述
对于同⼀台设备上的进程间通信,有很多种方式,比如有管道、消息队列、共享内存、信号等方式,而对于不同设备上的进程间通信,就需要网络通信
互联网通信的本质是数字通信,任何数字通信都离不开通信协议的制定,
通信设备只有按照约定的、统一的方式去封装和解析信息,才能实现通信。
互联网通信所要遵守的众多协议, 被统称为 TCP/IP
TCP/IP 是一个协议族,包含众多的协议:
ARP、 IP、 ICMP、UDP、 TCP、 DNS、 DHCP、 HTTP、 FTP、 MQTT 等等
但对于网络应用开发人员,可能听到更多的是其中的应用层协议,比如 HTTP、 FTP、 MQTT 等
这些协议,按照功能可以划分为几个不同的层次
▶️ 为什么要分层?分层的依据是什么?
个人理解,分层在于解耦,不让一个协议过于庞大,简化网络设计的复杂性;通信协议采用分层的结构,各层协议之间既相互独立又相互高效的协调工作。
对于复杂的通信协议,其结构应该是采用层次的。分层的协议可以带来很多便利:
- 灵活性好,当一层发生变化时,只要层间接口不变,则其上下层不受影响;此外,对某一层的服务,还可进行修改,如不同的应用层
- 独立性强,各层只需实现相对独立的功能,更简单、便于实现
▶️ 分层的依据是什么?
- TCP/IP 协议栈中不同协议所完成的功能是不一样的, 某些协议的实现要依赖于其它协议,依据这种依赖关系,可以将协议栈分层
在图1-1中,底层协议为相邻的上层协议提供服务,是上层协议得以实现的基础。
网络分层模型
应用层
网络分层模型的最上层,就是我们能直接接触到的应用层(Application Layer)
电脑、手机使用的应用软件都是在应用层实现的,
当两个不同设备上的应用需要网络通信时,应用就把应用数据传输给下一层——传输层
- 应用层只需要专注于为用户提供应用功能,不用去关心数据是如何传输的
- 应用层是工作在操作系统中的用户态,传输层及以下则工作在内核态
▶️ 应用层主要作用:
应用层决定了你如何应用和处理网络数据,常见的应用层协议有:
DNS、HTTP、 FTP、 MQTT、COAP等
传输层
应用层的数据包会传给传输层, 传输层(Transport Layer)是为应用层提供网络支持的。
▶️ 传输层主要作用:
-
传输层实现了数据包在两个设备应用之间,端到端的传递(应用间数据传输的媒介,帮助实现应用到应用的通信)
但是传输层并不负责将数据从一个设备传到另一个设备,那是网络层的任务
-
传输层解决 网络层中数据包在传输过程中可能会出现的丢包、乱序和重复等问题
在传输层会有两个传输协议, TCP 和 UDP
▶️ TCP协议
TCP 的全称叫传输层控制协议(Transmission Control Protocol)
大部分应用使用的正是 TCP 传输层协议,比如 HTTP 应用层协议
TCP 相比 UDP 多了很多特性,比如流量控制、超时重传、拥塞控制等,这些都是为了保证数据包能可靠地传输给对方
▶️ UDP协议
UDP 就相对很简单,简单到只负责发送数据包,不保证数据包是否能抵达对方,但它实时性相对更好,传输效率
也高。
当然, UDP 也可以实现可靠传输,把 TCP 的特性在应用层上实现就可以,不过要实现⼀个商用的可靠 UDP传输协议,也不是⼀件简单的事情。
🅰️ 数据接收
当设备作为接收方时,传输层则要负责把数据包传给应用,但是⼀台设备上可能会有很多应用在接收或者传输数据,因此需要用⼀个编号将应用层的应用区分开来,这个编号就是端口
- 传输层的报文中会携带端口号,因此接收方可以识别出该报文是发送给哪个应用
比如 80 端口通常是 Web 服务器用的, 22 端口通常是远程登录服务器用的。
而对于浏览器(客户端)中的每个标签栏都是⼀个独立的进程,操作系统会为这些进程分配临时的端口号
🅱️ 数据传输
数据分包:
应用需要传输的数据可能会非常大,如果直接传输就不好控制,因此当传输层的数据包大小超过 MSS(TCP 最大报文段长度),就要将数据包分块
- 这样即使中途有⼀个分块丢失或损坏了,只需要重新发送这⼀个分块,而不用重新发送整个数据包。
在 TCP 协议中,我们把每个分块称为⼀个 TCP 段(TCP Segment)
网络层
传输层并不负责将数据从一个设备传到另一个设备,只需要服务好应用即可,作为应用间数据传输的媒介,帮助实现应用到应用的通信,
而实际的传输功能就交给下⼀层,也就是网络层(Internet Layer)
这就又体现出网络分层的好处了,各层相互独立,易于实现;互相打配合即可
实际场景中的网络环节是错综复杂的,中间有各种各样的线路和分叉路口,如果⼀个设备的数据要传输给另⼀个设备,就需要在各种各样的路径和节点进行选择,而传输层的设计理念是简单、高效、专注,如果传输层还负责这一块功能就有点违背设计原则了
▶️ 网络层主要作用:
网络层实现了数据包在设备之间的传递
每台网络设备都应该有自己的网络地址,
- 网络层规定了主机的网络地址该如何定义;(寻址功能)
- 以及如何在网络地址和 MAC 地址之间进行映射,即 ARP 协议;(路由功能)
▶️ 概述:
网络层最常使用的是 IP 协议(Internet Protocol)
IP 协议会将传输层的报文作为数据部分,再加上 IP 包头 组装成 IP 报文
如果 IP 报文大小超过 MTU(以太网中一般为 1500 字节)就会再次进行分片,得到⼀个即将发送到网络的 IP 报文
▶️ IP地址:
网络层负责将数据从一个设备传输到另一个设备,那如何区别设备呢?
一般使用 IP 地址给设备进行编号
🚩 IPv4协议
IP地址有32位,分成了四段,每段8位
单纯靠一个IP地址虽然做到了区分设备,但是寻址麻烦,因此将IP地址划分为两种含义:
- 网络号,标识该 IP 地址属于哪个子网
- 主机号, 标识同一子网下的不同主机
如何划分,需要配合子网掩码才能算出 IP 地址的网络号 和 主机号
⭐️ 在寻址时,先匹配到相同的网络号,才会去找对应的主机
除了寻址能力,IP 协议还有另外一个重要作用:路由
实际场景中,两台设备并不是用一条网线连接起来的,而是通过很多网关、路由器、交换机等众多网络设备连接起来的,那么就会形成很多条网络的路径,因此当数据包到达一个网络节点,就需要通过算法决定下一步走哪条路径
IP 协议的寻址作用是告诉我们去往下⼀个目的地该朝哪个方向走,路由则是根据「下⼀个目的地」选择路
径。寻址更像在导航,路由更像在操作方向盘
数据链路层
实际场景中,网络并不是⼀个整体,比如你家和我家就不属于⼀个网络,所以数据不仅可以在同⼀个网络中设备间进行传输,也可以跨网络进行传输。
⼀旦数据需要跨网络传输,就需要有⼀个设备同时在两个网络当中,这个设备⼀般是路由器,路由器可以通过路由表计算出下⼀个要去的 IP 地址
⭐️ 那问题来了,路由器怎么知道这个 IP 地址是哪个设备的呢?
每⼀台设备的网卡都会有⼀个MAC 地址,它就是用来唯⼀标识设备的。
路由器计算出了下⼀个目的地的 IP 地址,再通过 ARP 协议找到该目的地的 MAC 地址,这样就知道这个 IP 地址是哪个设备的了
怎么规定的,怎么路由的,就是由 网络层来规定的
需要一个专门的层,来标识网络中的设备,让数据在一个链路中传输,这就是数据链路层(Data Link Layer)
▶️ 数据链路层主要作用:
为网络层提供 链路级别传输 的服务
规定了数据帧能被网卡接收的条件,最常见的方式是利用网卡的 MAC 地址,发送方会在欲发送的数据帧的首部加上接收方网卡的 MAC 地址信息,
接收方只有监听到属于自己的MAC 地址信息后,才会去接收并处理该数据
物理层
当数据准备要从设备发送到网络时,需要把数据包转换成电信号,让其可以在物理介质中传输,这⼀层就是物理层
(Physical Layer)
▶️ 物理层主要作用:
主要是为数据链路层提供二进制传输的服务
- 规定了传输信号所需要的物理电平、介质特征等