面试官让我详细剖析分布式微服务架构下网络通信的底层实现原理（图解）

本文链接：https://blog.csdn.net/weixin_48791363/article/details/121211489

在分布式架构中，网络通信是底层基础，没有网络，也就没有所谓的分布式架构。只有通过网络才能使得一大片机器互相协作，共同完成一件事情。

同样，在大规模的系统架构中，应用吞吐量上不去、网络存在通信延迟、我们首先考虑的都是网络问题，因此网络的重要性不言而喻。

作为现代化应用型程序员，要开发一个网络通信的应用，是非常简单的。不仅仅有成熟的api，还有非常方便的通信框架。

可能大家已经忘记了网络通信的重要性，本篇文章会详细分析网络通信的底层原理！！

1.1 理解通信的本质

如图1-1所示，当我们通过浏览器访问一个网址时，一段时间后该网址会渲染出访问的内容，这个过程是怎么实现的呢？

图1-1

我想站在今天，在做的同学都知道，它是基于http协议来实现数据通信的，这里有两个字很重要，就是“协议”。

两个计算机之间要实现数据通信，必须遵循同一种协议，否则，就像一个中国人和一个外国人交流时，一个讲英语另一个讲解中文，肯定是无法正常交流。在计算机中，协议非常常见。

1.1.1 协议的组成

我们写的Java代码，计算机能够理解并且执行，原因是人和计算机之间遵循了同一种语言，那就是Java，如图1-2所示，.java文件最终编译成.class文件这个过程，也同样涉及到协议。

图1-2 java编译过程

所以，在计算机中，协议是指大家需要共同遵循的规则，只有实现统一规则之后，才能实现不同节点之间的数据通信，从而让计算机的应用更加强大。

组成一个协议，需要具备三个要素：

语法，就是这一段内容要符合一定的规则和格式。例如，括号要成对，结束要使用分号等。
语义，就是这一段内容要代表某种意义。例如数字减去数字是有意义的，数字减去文本一般来说就没有意义。
时序，就是先干啥，后干啥。例如，可以先加上某个数值，然后再减去某个数值。

1.1.2 http协议

理解了协议的作用，那协议是长什么样的呢？

那么再来看图1-3的场景，人们通过浏览器访问网站，用到了http协议。

图1-3 http协议

http协议包含包含几个部分：

http请求组成
- 状态行
- 请求头
- 消息主体
http响应组成
- 状态行
- 响应头
- 响应正文

Http响应报文如图1-4所示，那么这个协议的三要素分别是：

语法： http协议的消息体由状态、头部、内容组成。
语义：比如状态，200表示成功，404表示请求路径不存在等，通信双方必须遵循该语义。
时序：组成消息体的三部分的排列顺序，必须要有request，才会产生response。

而浏览器按照http协议做好了相关的处理后，才能让大家通过网址访问网络上的各种信息。

图1-4

1.1.3 常用的网络协议

DNS协议、Http协议、SSH协议、TCP协议、FTP协议等，这些都是大家比较常用的协议类型。无论哪种协议，本质上仍然是由协议的三要素组成，只是应用场景不同。

DNS、HTTP、HTTPS 所在的层我们称为应用层。经过应用层封装后，浏览器会将应用层的包交给下一层去完成，通过 socket 编程来实现。下一层是传输层。传输层有两种协议，一种是无连接的协议 UDP，一种是面向连接的协议 TCP。对于通信可靠性要求的场景来说，往往使用 TCP 协议。所谓的面向连接就是，TCP 会保证这个包能够到达目的地。如果不能到达，就会重新发送，直至到达。

1.3 TCP/IP通信原理分析

一次网络通信到底是怎么完成的呢？

涉及到网络通信，那我们一定会提到一个网络模型的概念，如图1-5所示。表示TCP/IP的四层概念模型和OSI七层网络模型，它是一种概念模型，由国际标准化组织提出来的，试图让全世界范围内的计算机能基于该网络标准实现互联。

图1-5

网络模型为什么要分层呢？其实从我们现在的业务分层架构中就不难发现，任何系统一旦变得复杂，就都会采用分层设计。它的主要好处是

实现高内聚低耦合
每一层有自己单一的职责
提高可复用性和降低维护成本

1.2.1 http通信过程的发送数据包

由于我们的课程并不是专门来讲网络，所以只是提及一下网络分层模型，为了让大家更简单的理解网络分层模型的工作原理，我们仍然以一次网络通信的数据包传输为例进行分析，如图1-6所示。

图1-6

图1-6的工作流程描述如下：

假设我们要登录某一个网站，此时基于Http协议会构建一个http协议报文，这个报文中按照http协议的规范组装，其中包括要传输的用户名和密码。这个是属于应用层协议。
经过应用层封装后，浏览器会把应用层的包交给TCP/IP四层模型中的下一层，也就是传输层来完成，传输层有两种协议：
- TCP协议，可靠的通信协议，该协议会确保数据包能达到目的地
- UDP协议，不可靠通信协议，可能会存在数据丢失
在http通信中使用了TCP协议，TCP协议会有两个端口，一个是浏览器监听的端口，一个是目标服务器进程的端口。操作系统会根据端口来判断这个数据包应该分发给那个进程。
传输层封装完成后，该数据包会技术交给网络层来处理，网络层协议是IP协议，IP协议中会包含源IP地址（也就是客户端及其的IP）和目标服务器的IP地址。
操作系统知道了目标IP地址后，就开始根据这个IP来寻找目标机器，而目标服务器一定是部署在不同的地方，这种跨网络节点的访问，需要经过网关（所谓网关就是一个网络到另外一个网络的关口）。

所以数据包首先需要先通过自己当前所在网络的网关出去，然后访问到目标服务器，但是在数据包传输到目标服务器之前，需要再组装MAC头信息。

Mac头包含本地的Mac地址和目标服务器的Mac地址，这个MAC地址怎么获得的呢？
- 获取本机MAC地址的方法是，操作系统会发送一个广播消息询问网关地址（192.168.1.1）是谁？收到该广播消息的网关会回应一个MAC地址。这个广播消息是基于ARP协议实现的（这个协议简单来说就是已知目标机器的ip，需要获得目标机器的mac地址。(发送一个广播消息，这个ip是谁的，请来认领。认领ip的机器会发送一个mac地址的响应)）。
  
  为了避免每次都用 ARP 请求，机器本地也会进行 ARP 缓存。当然机器会不断地上线下线，IP 也可能会变，所以 ARP 的 MAC 地址缓存过一段时间就会过期。
- 获取远程机器的MAC地址的方法也同样是基于ARP协议实现的。

完成MAC地址组装后，一个完整的数据包就构成了。这个时候会把这个数据包给到网卡，网卡再把这个数据包发出去，由于这个数据包中包含MAC地址，因此它能够到达网关进行传输。网关收到包之后，会根据路由信息，判断下一步应该怎么走。网关往往是一个路由器，到某个 IP 地址应该怎么走，这个叫作路由表。

1.2.2 http通信过程中的接收数据包

当数据包发送到网关后，会根据网关的路由信息判断该数据包要传输到那个网段上。数据从客户端发送到目标服务器，可能会经过多个网关，所以数据包根据网关路由进入到下一个网关后，继续根据下一个网关的MAC地址寻找下下一个网关，直到到达目标网络服务器上。

这个时候服务器收到包之后，最后一个网关知道这个网络包就是要去当前局域网的，于是拿着目标IP通过ARP协议大喊一声这是谁？目标服务器就会给网关回复一个MAC地址。然后网络包在最后那个网关修改目标的MAC地址，通过这个MAC地址，网络包找到了目标服务器。

当目标服务器和MAC地址对上后，开始取出MAC头信息，接着把数据包发送给操作系统的网络层。网络层会取出IP头信息，IP头里面会写上一层封装的是TCP协议，于是交给传输层来处理，实现过程如图1-7所示。

在这一层中，对于收到的每个数据包都会有一个回复，表示服务器端已经收到了该数据包。如果过一段时间客户端没有收到该确认包，发送端的 TCP 层会重新发送这个包，还是上面的过程，直到最终收到回复。

这个重试是TCP协议层来实现的，不需要我们应用来主动发起。

图1-7

为什么有了MAC层还要走IP层呢？

之前我们提到，mac地址是唯一的，那理论上，在任何两个设备之间，我应该都可以通过mac地址发送数据，为什么还需要ip地址？

mac地址就好像个人的身份证号，人的身份证号和人户口所在的城市，出生的日期有关，但是和人所在的位置没有关系，人是会移动的，知道一个人的身份证号，并不能找到它这个人，mac地址类似，它是和设备的生产者，批次，日期之类的关联起来，知道一个设备的mac，并不能在网络中将数据发送给它，除非它和发送方的在同一个网络内。

所以要实现机器之间的通信，我们还需要有ip地址的概念，ip地址表达的是当前机器在网络中的位置，类似于城市名+道路号+门牌号的概念。通过ip层的寻址，我们能知道按何种路径在全世界任意两台Internet上的的机器间传输数据。