Netty权威指南——基础篇4 网络通信基础

1 TCP粘包/拆包

        TCP是个“流”协议，所谓流，就是没有界限的一串数字。可以想象河里流水，是连成一片的，其间没有分界线。TCP底层并不了解上层业务数据的具体含义，它会根据TCP缓冲区的实际情况进行包的划分，一个完整的包可能会被TCP拆分成多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送，这就是所谓的粘包和拆包。

1.1 粘包/拆包问题说明

        可以通过图解对TCP粘包和拆包问题进行说明，粘包问题示例如下图：

        假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取的字节数是不确定的，因此可能存在以下四种情况。

        1、服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包。

        2、服务端一次接收到了两个数据包，D1和D2粘合在一起，被称为TCP粘包。

        3、服务端分两次读取到了两个数据包，第一次读取了完整的D1和D2包的部分内容，第二次读取到了D2包剩下的内容，被称为TCP拆包。

        4、服务端分两次读取到了两个数据包，第一次读取了D1包的部分内容，第二次读取了D1包剩下的内容和D2包的完整包。

        如果此时服务端TCP接收滑窗非常小，而数据包D1和D2比较大，有可能发生第五种情况，即服务端分多次才能将D1和D2全部接收，期间发生多次拆包。

1.2 TCP粘包/拆包发生的原因

        1、应用程序write写入的字节大小大于套接口发送缓冲区大小。

        2、进行MSS大小的TCP分段。

        3、以太网帧的payload大于MTU进行IP分片。

        如下图

 

1.3 粘包问题的解决策略

        由于底层的TCP无法理解上层的业务数据，所以在底层是无法保证数据包不被拆分和重组的，这个问题只能通过上层的应用协议栈设计来解决，根据业界的主流协议的解决方案，归纳如下：

        1、消息定长，例如每个报文的长度大小为固定长度200字节，如果不够，空位补空格。

        2、在包尾增加回车换行符进行分割，例如FTP协议。

        3、将消息分为消息头和消息体，消息头包含表示消息总长度的字段，通常设计思路为消息头的第一个字段使用int32来表示消息的总长度。

        4、更复杂的应用层协议。 

2 网络通信原理

2.1 网络基础架构

2.1.1 C/S信息传输流程

        完成一次网络通信，大致要经过以下五个步骤：

        1、客户端产生数据，存在于客户端应用的内存中，然后调用接口将自己内存中的数据发送/拷贝给操作系统内存。

        2、客户端操作系统收到数据后，按照客户端应用指定的规则（协议），调用网卡并发送数据。

        3、网络传输数据。

        4、服务端应用调用系统接口，想要将数据从操作系统内存拷贝到自己的内存中。

        5、服务端操作系统收到指令后，使用与客户端相同的规则（协议）从网卡读取数据，然后拷贝给服务端应用。

2.2 TCP/IP五层模型

        计算机之间要有统一的连接标准才能完成相互通信，这个标准被称为互联网协议，而网络就是物理链接介质+互联网协议。按照功能不同，将互联网协议从不同维度分为OSI七层、TCP/IP五层或TCP/IP四层，如下图所示：

     每层运行的常用设备如下图

2.2.1 物理层

        物理层主要是基于电器特性发送高低电平信号，电平即“电压平台”，指的是电路中某一个点电压的高低状态，在网络信号中高电平用数字“1”表示，低电平用数字“0”表示。电平的高低是个相对概念，3V对于7V是低电平，但对于1V就是高电平。

2.2.2 数据链路层

        由于单纯的电平信号“0”和“1”没有任何意义，在实际应用中，会讲电平信号进行分组处理，多少位一组，每组什么意思，这样数据才具有含义。数据链路层的功能就是定义电平信号的分组方式。

        1、以太网协议

        数据链路层使用以太网协议进行数据传输，基于MAC地址的广播方式实现数据传输，只能在局域网内广播。早期各个公司都有自己的分组方式，后来形成了统一的标准，即以太网协议Ethernet。

        2、Ethernet以太网

        由一组电平信号构成一个数据包，叫做“帧”，每一数据帧由报头Head和数据Data两部分组成，如下图：

        Head：固定18字节，其中发送者/源地址占6个字节，接收者/目标地址占6个字节，数据类型占6个字节。

        Data：最短46字节，最长1500字节。

        数据包的具体内容格式为：Head长度+Data长度=最短64字节，最长1518字节（超过最大限制就分片发送）。

        3、MAC地址

        Head包含的源地址和目标地址的由来：Ethernet规定接入Internet的设备必须配有网卡，发送端和接收端的地址便是指网卡的地址，加MAC地址。

        MAC地址：每块网卡出厂时都会被印上一个世界唯一的MAC地址，它是一个长度为48位的二进制数，通常用12位十六进制数表示(前六位是厂商号，后六位是流水线版本号)。

        4、Broadcast广播

        有了MAC地址，同一网络内的两台主机就可以通信了（一台主机通过ARP协议获取另外一台主机的MAC地址），下面是以太网通信数据真的详细示意图：

         其实Ethernet采用非常原始的广播方式进行通信，也就是说计算机之间的通信基本靠“吼”。例如，有多台PC组成了一个网络，并通过硬件设施链接具备了通信条件，如下图：

        上图中，PC1按照固定协议格式以广播的方式发送以太网给PC4，然而，PC2 PC3 PC5都会收到PC1发来的数据包，拆开后如果发现目标MAC地址不是自己的就会丢弃，如果是自己的就响应。

2.2.3 网络层

        有了 Ethernet、MAC地址、广播的发送方式，世界上的计算机就可以彼此进行通信了，问题是世界范围的互联网是由一个个彼此隔离的小的局域网组成的（如下图），如果所有的通信都采用以太网的广播方式，那么一台机器发送的数据包全世界就会收到，这就不仅仅是效率低下的问题，而是一场灾难。

        全世界的大网络由一个个小的彼此隔离的局域网组成，以太网包只能在一个局域网内发送，一个局域网是一个广播域，跨广播通信只能通过路由转发。由此得出结论：必须找出一种方法来区分哪些计算机属于同一个广播域，哪些不是。如果是就采用广播的方式发送（向不同广播域/子网分发数据包），MAC地址是无法区分的，它只跟厂商有关，网络层就是用来解决这个问题的。网络层的作用就是引入一套新的地址来区分不同的广播域/子网，这套地址叫网络地址。

        1.IP

        规定网路地址的协议叫IP(Internet Protocl，网际互联协议)，它定义的地址称为IP地址。广泛采用V4版本即IPv4，规定网络地址由32位二进制数表示。一个IP地址通常写成四段十进制数，例如：172.16.10.1，其取值范围：0.0.0.0 ~255.255.255.255。

        IP地址由两部分组成：网络部分（用来标识子网）和主机部分（用来标识主机） 

        2 子网掩码

        子网掩码，就是表示子网络特征的一个参数。它在形式上等同于IP地址，也是一个32位二进制数字，它的网络部分全部为1，主机部分全部为0.比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分就是后8位，那么子网掩码写成十进制就是255.255.255.0。

        根据子网掩码就能判断任意两个IP地址是否处于同一个子网络。方法是将两个IP地址与子网掩码进行&运算（两个数位都为1，运算结果是1，否则是0），然后比较结果是否相同，如果相同，就表明它们在同一个子网络中，否则就不在。比如，已知IP地址172.16.10.1 和172.16.10.2的子网掩码都是255.255.255.0，那么它们是否在同一个子网络中？

        将二者IP地址与子网掩码分别进行&运算，具体规则如下：

        运算结果都是 172.16.10.0，因此它们在同一个子网络中。

        总结一下，IP的作用主要有两个，一个是为每台计算机分配IP地址，另一个是确定哪些地址在同一个子网络中。

        3、IP数据包

        IP数据包也分为Head和Data两部分，无需为IP数据包定义单独的栏位，直接放入以太网包的Data部分即可。

        Head:长度为20~40字节

        Data:最大长度为65515字节。

        而以太网数据包的Data部分，最长只有1500字节，因此，如果IP数据包超过1500字节，就需要分割成几个以太网数据包，分开发送，具体结构如下：

2.2.4 传输层

        现在已经知道，网络层的IP地址帮助我们区分子网，以太网层的MAC地址帮助我们找到主机。大家使用的都是应用程序，你的计算机上可能同时开启QQ、微信等多个应用程序，那么我们通过IP地址和MAC地址找到了一台特定的主机，如何标识这台主机上的应用应用程序呢？答案就是端口，端口就是应用程序与网关关联的编号。那么传输层就是用来建立端口到端口的通信机制的。

【补充】主机段扩的取值范围是0~65535，其中0~1023为系统保留端口的取值范围，也叫做BSD保留端口，用于可以注册端口的取值访问时1024~49152，还有随机动态端口的取值方位是49152~65535。为什么取值范围只能是0~65535 ，多一个都不行？从协议来讲，在TCP头部留给存储端口的空间只有2个字节，最大值就是65535。

        1 TCP 

        TCP（传输控制协议）是一种可靠性协议，TCP数据包没有长度限制，理论上可以无限长，但是为了保证网络的效率，通常TCP数据包的长度不会超过IP数据包的长度，以确保单个TCP数据包不必再分割，其数据结构如下图：

         

        2 UDP

        UDP（用户数据报协议）是一种不可靠传输协议，“报头”部分总共有8字节，总长度不超过65535字节，正好放进一个IP数据包，其数据结构如下图：

        3 TCP报文结构

        TCP报文是TCP层传输的数据单元，也加做报文段。TCP报文结构如下图：

 

        下面对报文内容做详细介绍

        1、端口号：用来标识同一台计算机的不同应用进程。

                源端口：源端口和IP地址的作用是标识报文的返回地址。

                目的端口：目的端口指明接收方计算机上的应用程序接口。

                TCP报文头中的源端口号和目的端口号同IP数据包中的源IP地址和目的IP地址唯一确定一条TCP连接。

        2、序号和确认号：TCP可靠传输的关键部分。序号是本报文段发送的数据组的第一个字节的序号。在TCP传送的流中，每一个字节都有一个序号。例如，一个报文段的序号是300，此报文段数据部分共有100字节，则下一个报文段的序号为400.所以序号确保了TCP传输的有序性。

        确认号，即ACK，指明下一个期待收到的字节序号，表明该序号之前的所有数据已经正确无误地收到。确认号只有当ACK标志位1时才有效。比如建立连接时，SYN报文的ACK标志为0.

        3、数据偏移/头部长度：4位。由于头部可能含有可选项内容，TCP报头的长度是不确定的，报头不包含任何任选属性则长度为20字节，4位头部长度属性能表示的最大值为1111，转化成十进制为15,15*32/8=60，所以报头最大长度为60字节，头部长度也叫数据偏移，是因为头部长度实际上指明了数据区在报文段中的起始偏移量。

        4、保留：为将来定义新的用户保留，现在一般设置为0.

        5、标志位：URG/ACK/PSH/SYN/FIN，共6个，每一个标志位都表示一个控制功能，具体含义如下：

 

        4 TCP交互流程

        传输连接包括三个阶段：连接建立、数据传送和连接释放。传输连接管理就是对连接建立和连接释放过程的管控，使其能正常运行，已达到这些目的：是通信双方能够确知对方的存在、可以允许通信双方协商一些参数（最大报文段长度、最大窗口大小等）、能够对运输实体资源进行分配（缓存大小等）。TCP连接的建立采用客户端-服务端模式：主动发起连接建立的应用进程叫客户端，被动等待连接建立的应用进程叫服务器。接下来，介绍TCP完成数据传输的三次握手和四次挥手的详细过程。

        第一次握手：建立连接时，客户端发送SYN包（syn=1）到服务器，并进入SYN_SENT状态，等待服务器确认。

        第二次握手：服务器收到SYN包，必须确认客户端的SYN包（ack = x + 1）,同时自己也发送一个SYN包（syn=1），即SYN+ACK包，此时服务器进入SYN_RECV状态。

        第三次握手：客户端收到服务器的SYN+ACK包，向服务器发送确认包ACK（ack = y + 1）,此包发送完毕，客户端和服务器进入ESTABLISHED（TCP连接成功）状态，完成三次握手。

        至此，TCP连接就建立了。只要通信双方没有一方发送连接释放的请求，连接就一直保持。如果有一方释放连接，就会发起挥手操作。

        第一次挥手：客户端进行发送连接释放报文，并且停止发送数据。释放数据报文头部，FIN =1，其序列号为seq=u（等于前面已经传送过来的数据的最后一个字节的序号加1），此时，客户端进入FIN_WAIT_1（终止等待1）状态。TCP规定，FIN报文段即使不携带数据，也要消耗一个序号。

        第二次挥手：服务器收到连接释放的报文，发出确认报文，ACK=1,ack = u +1，并且带上自己的序列号seq = v，此时，服务器就进入CLOSE_WATI(关闭等待)状态。TCP服务器通知高层的应用进程，客户端向服务器方向的连接就被释放了，这是处于半关闭状态，即客户端已经没有数据要发送了，但是服务器或发送数据，客户端依然要接受。这个状态还要持续一段时间，也就是整个CLOSE_WAIT状态持续的时间。

        客户端收到服务器的确认请求后，客户端就进入FIN_WAIT_2(终止等待2)状态，等待服务器发送连接释放报文。

        第三次挥手：服务器将最后的数据发送完毕后，就像客户端发送连接释放报文，FIN=1,ack = u+1,由于在半关闭状态，服务器很可能又发送了一些数据，假定此时的序列号为seq=w，此时，服务器就进入了LAST_ACK(最后确认)状态，等待客户端的确认。

        第四次挥手：客户端收到服务器的连接释放报文后，必须发出确认，ACK = 1，ack = w+1，而自己的序列号是seq = u + 1，此时，客户端就进入TIME_WAIT(时间等待)状态。注意此时TCP连接还没有释放，必须经过2*MSL(最长报文段寿命)的时间，当客户端撤销相应的TCB(传输控制模块)后，才进入CLOSED状态。

        最后，服务器只要收到了客户端发出的确认，就立即进入CLOSED状态。同样，撤销TCB后，就结束了这次TCP连接。可以看到，服务器结束TCP连接的时间要比客户端早一些。

        TCP交互详细过程如下图：

2.2.5 应用层

        在日常操作中，用户使用的都是应用程序，应用程序都工作在应用层。互联网是开放的，大家都可以开发自己的应用程序，数据多种多样，必须规定好数据的组织形式。应用层的功能就是规定应用程序的数据格式。

        例如：TCP可以为各种各种的策划给你续传递数据，比如SMTP HTTP FTP POP3等，那么，必须有不同的协议规定电子邮件、网页、FTP数据的格式，这些应用程序协议就构成了“应用层”。如下图所示是应用层协议的基本组成结构。

 

        下面介绍一些常用的应用层协议。

        1、DNS协议，用于把便于人们使用的机器名称转换成IP地址。现在顶级域名TLD分为三大类：国家顶级域名nTLD、通用顶级域名gTLD和基础结构域名。域名服务器分为四种类型：根域名服务器、顶级域名服务器、本地域名服务器和权限域名服务器。DNF使用TCP和UDP端口53，当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。

        2、HTTP协议，是面向事务的应用层协议。它是互联网上能够可靠的进行交换信息的重要基础。HTTP使用面向连接的TCP作为运输层协议，保证了数据的可靠传输。

        3、FTP协议，是互联网上使用最广发的文件传送协议。FTP提供交互式的访问，允许客户指明文件类型与格式，并允许文件具有存取权限。FTP基于TCP工作。

        4、SMTP协议，规定了两个相互同心度 SMTP进程之间应如何交换信息。SMTP通信的三个阶段：建立连接、邮件传送和连接释放。

        5、POP3协议，通常被用来接收电子邮件

        6、Telent协议，是一个简单的远程终端协议，也是互联网的正式标准，又称为终端仿真协议。

 3 网络通信实现原理

        要想实现网络通信，每台主机需具备四要素：本机的IP地址、子网掩码、网关的IP地址和DNF的IP地址。

        获取这四要素有两种方式：一是静态获取，即手动配置；二是动态获取，即通过DHCP获取。

        下面是网络通信的数据结构示意图：

        详细分析一下网络通信的交互过程。        

        1、以太网头部：设置发出方（本机）的MAC地址和接收方（DHCP服务器）的MAC地址。

        2、IP头部：设置发出方的IP地址和接收方的IP地址。

        3、UDP头部：设置好发出方的端口和接收方的端口。

        这个数据包构造完成后，就可以发出了。以太网是广播发送的，同一个子网的每台计算机都收到了这个数据包。因为接收方的MAC地址是FF-FF-FF-FF-FF-FF-FF，看不出是发给谁的，所以每台收到这个数据包的计算机，还必须分析这个数据包的IP地址，才能确定是不是发给自己的。看到发出方的IP地址是0.0.0.0，接收方IP是255.255.255.255，于是DHCP服务器直到这个数据包是发给我的，而其他计算机就可以丢弃这个数据包。

        接下来，DHCP服务器读出这个数据报的数据内容，分配好IP地址，发送回去一个“DHCP响应”数据包。这个响应包的结构也是类似的，以太网头部的MAC地址是双方的网卡地址，IP头部的IP地址是DHCP服务器的IP地址（发出方）和255.255.255.255（接收方），UDP头部的端口是67（发出方）和68（接收方），分配给请求端的IP地址和本网络的具体参数则包含在Data部分。

        新加入的计算机收到这个响应包，于是就知道自己的IP地址、子网掩码、网关地址、DNS服务器等参数。

4 网络通信之“魂”——Socket

        我们知道两个进程进行通信的一个最基本的前提是能够唯一的标识一个进程。在本地进程通信中，可以使用PID来唯一标识一个进程，但PID只在本地唯一，网络中的两个进程PID冲突概率较大，这时就要另辟蹊径了。IP层的IP地址可以唯一标识主机，而TCP层的协议和端口号可以唯一标识主机的一个进程，可以用IP地址+协议+端口号唯一标识网络中的一个进程。

        能够唯一标识网络中的进程后，就可以利用Socket进行通信了。经常把Socket翻译为套接字，Socket是在应用层和传输层之间的一个抽象层，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用，以实现进程在网络中的通信，具体结构如下图：

        Socket起源于UNIX,在UNIX“一切皆文件”的思想下，Socket是一种从打开，到完成读写操作，最后关闭的模式，服务器和客户端各自维护一个“文件”，在建立连接打开文件后，可以向自己的文件写入内容供对方读取或者读取对方的内容，通信结束时关闭文件。