【JavaEE】网络基本概念与协议分层手术刀剖析

一、网络的基本概念

1.网络互连

网络互连：将多台计算机连接在一起，完成数据共享。

  数据共享本质是网络数据传输，即计算机之间通过网络来传输数据，也称为网络通信。根据网络互连的规模不同，可以划分为局域网和广域网。

2.局域网和广域网

（1）局域网

  局域网，即 Local Area Network，简称LAN。
Local 即标识了局域网是本地，局部组建的一种私有网络。局域网内的主机之间能方便的进行网络通信，又称为内网；局域网和局域网之间在没有连接的情况下，是无法通信的。

  局域网组建网络的方式有很多种：

1. 基于网线直连：比如说用两根线把三个主机连接起来,这三个主机就组成了一个局域网。
   
     上面这种组网方式非常少见，既费网线，又费网口。

 
2. 基于集线器连接

 &esmp;实际上，基本没有使用集线器的，因为这有一个非常大的缺点，就是集线器相当于把一根网线分叉了，而分出的两个叉不能同时使用。

 

3. 基于交换机组建：把若干个设备组件到局域网中
   
     借助交换机就可以组成一个局域网，交换机上面的网口都是平等的。这些网口的功能就是把插在这里面的设备给组建成一个局域网，那么这些局域网内部的主机就可以进行相互访问了。

 

4. 基于交换机和路由器组建

  路由器这里有两类端口，WAN口，LAN口,其中插在LAN口上的设备，在一个局域网里，通过WAN连接到另外一个局域网。

 
  实际上，我们上面讨论的这些区别，只是局限于“传统”的交换机与路由器。实际上，在现在，真实的交换机和路由器之间的区别的界限已经很模糊，路由器的很多功能，交换机也有；交换机的很多功能，路由器也有。

  这些由路由器或者交换机组建起来的称为局域网。

---

（2）广域网
  广域网，即 Wide Area Network，简称WAN。
通过路由器，将多个局域网连接起来，在物理上组成很大范围的网络，就形成了广域网。广域网内部的局域网都属于其子网。

  实际上，现在的局域网与广域网之间的界限也已经很模糊了，我们现在也说，比较大的局域网称为广域网。全世界最大的广域网，叫做“Internet”，中文叫因特网。

  如果有北、中、南等分公司，甚至海外分公司，把这些分公司以专线方式连接起来，即称为“广域网”。
  如果属于全球化的公共型广域网，则称为互联网（又称公网，外网），属于广域网的一个子集。有时在不严格的环境下说的广域网，其实是指互联网。
  所谓 “局域网” 和 “广域网” 只是一个相对的概念。比如，我们有 “天朝特色” 的广域网，也可以看做一个比较大的局域网。

---

3.IP地址与端口号

（1）IP地址

IP地址描述了网络上的一个主机的位置，它用于标识网络主机、其他网络设备（如路由器）的网络地址。

  就像我们发送快递一样，需要知道对方的收货地址，快递员才能将包裹送到目的地。

  

IP地址是一个32位的二进制数，通常被分割为4个“8位二进制数”（也就是4个字节），如：
01100100.00000100.00000101.00000110。但是这样不利于人们记忆，通常用“点分十进制”的方式来表示，即 a.b.c.d 的形式（a,b,c,d都是0~255之间的十进制整数）。如：100.2.3.6。

  我们有一种特殊的IP：

127.*的IP地址用于本机环回(loop back)测试，通常是127.0.0.1。
本机环回主要用于本机到本机的网络通信（系统内部为了性能，不会走网络的方式传输），对于开发网络通信的程序（即网络编程）而言，常见的开发方式都是本机到本机的网络通信。

  IP地址解决了网络通信时，定位网络主机的问题，但是还存在一个问题，传输到目的主机后，由哪个进
程来接收这个数据呢？这就需要端口号来标识。

---

（2）端口号

端口号描述了主机上某个应用程序。在网络通信中，IP地址用于标识主机网络地址，端口号可以标识主机中发送数据、接收数据的进程。简单说：端口号用于定位主机中的进程。

  发送快递时，不光需要指定收货地址（IP地址），还需要指定收货人（端口号）。
  

格式：
  端口号是0~65535范围的数字，在网络通信中，进程可以通过绑定一个端口号，来发送及接收网络数据。

  
  两个不同的进程，不能绑定同一个端口号，但一个进程可以绑定多个端口号。

  一个进程启动后，系统会随机分配一个端口（启动端口） 程序代码中，进行网络编程时，需要绑定端口号（收发数据的端口）来发送、接收数据。
  进程绑定一个端口号后，fork一个子进程，可以实现多个进程绑定一个端口号，但不同的进程不 能绑定同一个端口号

  有了IP地址和端口号，可以定位到网络中唯一的一个进程，但还存在一个问题，网络通信是基于二进制0/1数据来传输，如何告诉对方发送的数据是什么样的呢？
  我们网络通信传输的数据类型可能有多种：图片，视频，文本等。同一个类型的数据，格式可能也不同，如发送一个文本字符串“你好！”：如何标识发送的数据是文本类型，及文本的编码格式呢？
  我们基于网络数据传输，需要使用协议来规定双方的数据格式。

---

二、协议（重点）

协议，网络协议的简称，网络协议是网络通信（即网络数据传输）经过的所有网络设备都必须共同遵从的一组约定、规则。如怎么样建立连接、怎么样互相识别等。只有遵守这个约定，计算机之间才能相互通信交流。

  协议三要素：

1. 语法：即数据与控制信息的结构或格式；

类似打电话时，双方要使用同样的语言：普通话

2. 语义：即需要发出何种控制信息，完成何种动作以及做出何种响应；

语义主要用来说明通信双方应当怎么做。用于协调与差错处理的控制信息。
类似走在路上，说话的内容。一方道：你瞅啥？另一方就得有对应的响应：瞅你咋的！

3. 时序，即事件实现顺序的详细说明。

时序定义了何时进行通信，先讲什么，后讲什么，讲话的速度等。比如是采用同步传输还是 异步传输。

协议（protocol）最终体现为在网络上传输的数据包的格式。

  那么协议有什么作用呢？

协议就是一种约定，比如说我们跟陌生人见面时，以撑着红衫作为标记，以便彼此一下认出来。而回到计算机中，计算机之间的传输媒介是光信号和电信号。通过 “频率” 和 “强弱” 来表示 0 和 1 这样的信息。要想传递各种不同的信息，就需要约定好双方的数据格式。

---

（1）知名协议的默认端口
系统端口号范围为 0 ~ 65535，其中：0 ~ 1023 为知名端口号，这些端口预留给服务端程序绑定广泛使用的应用层协议，如：

• 22端口：预留给SSH服务器绑定SSH协议
• 21端口：预留给FTP服务器绑定FTP协议
• 23端口：预留给Telnet服务器绑定Telnet协议
• 80端口：预留给HTTP服务器绑定HTTP协议
• 443端口：预留给HTTPS服务器绑定HTTPS协议

  虽然说 0 ~ 1023 范围的知名端口号用于绑定知名协议，但某个服务器也可以使用其他 1024 ~65535 范围内的端口来绑定知名协议。
  
  

（2）五元组
  五元组是通信术语。通常是指源IP地址，源端口，目的IP地址，目的端口和协议号。

1. 源IP：标识源主机
2. 源端口号：标识源主机中该次通信发送数据的进程
3. 目的IP：标识目的主机
4. 目的端口号：标识目的主机中该次通信接收数据的进程
5. 协议号：标识发送进程和接收进程双方约定的数据格式

---

1.协议分层

  网络通信这个过程,其实很复杂,里面有很多很多的细节。如果就只通过一个协议,来约定所有的细节,这个协议就会非常庞大,复杂。所以更好的办法,就是把一个大的复杂的协议，拆成多个小的,更简单的协议，每个协议,负责一部分工作。

  就好比打电话时，我们定义不同的层次的协议：

  那么，我们协议分层的作用是什么？

  分层最大的好处，类似于面向接口编程：定义好两层间的接口规范，让双方遵循这个规范来对接。在代码中，类似于定义好一个接口，一方为接口的实现类（提供方，提供服务），一方为接口的使用类（使用方，使用服务）：

1. 对于使用方来说，并不关心提供方是如何实现的，只需要使用接口即可。每层协议不需要理解其他层协议的细节.(更好的做到了封装)
   比如说：打电话的人，不需要理解电话的工作原理,就能完成打电话的操作。
2. 对于提供方来说，利用封装的特性，隐藏了实现的细节，只需要开放接口即可。把对应层的协议替换成其他协议.(更好的解耦合)
   打电话的人，可以不使用有线电话,可以使用无线电话；打电话的人，也可以使用英语,不使用汉语。

 

–

2.osi七层模型

OSI七层模型 （Open SystemInterconnect），全称为开放系统互连参考模型[1]，是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)联合制定的开放系统互联参考模型，为开放式互联信息系统提供了一种功能结构的框架。它从低到高分别是：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。

  OSI 七层模型既复杂又不实用，只存在于教科书中， OSI 七层模型没有落地、实现。实际组建网络时，只是以 OSI 七层模型设计中的部分分层，也即是以下 TCP/IP 五层（或四层）模型来实现。

---

3.TCP/IP五层（或四层）模型

  TCP/IP是一组协议的代名词，它还包括许多协议，组成了TCP/IP协议簇。
  TCP/IP通讯协议采用了5层的层级结构，每一层都呼叫它的下一层所提供的网络来完成自己的需求。

层	作用
应用层	负责应用程序间沟通，如简单电子邮件传输（SMTP）、文件传输协议（FTP）、网络远程访问协议（Telnet）等。我们的网络编程主要就是针对应用层。
传输层	负责两台主机之间的数据传输。如传输控制协议 (TCP)，能够确保数据可靠的从源主机发送到目标主机。
网络层	负责地址管理和路由选择。例如在IP协议中，通过IP地址来标识一台主机，并通过路由表的方式规划出两台主机之间的数据传输的线路（路由）。路由器（Router）工作在网路层。
数据链路层	负责设备之间的数据帧的传送和识别。例如网卡设备的驱动、帧同步(就是说从网线上检测到什么信号算作新帧的开始)、冲突检测(如果检测到冲突就自动重发)、数据差错校验等工作。有以太网、令牌环网，无线LAN等标准。交换机（Switch）工作在数据链路层
物理层	负责光/电信号的传递方式。比如现在以太网通用的网线(双绞 线)、早期以太网采用的的同轴电缆(现在主要用于有线电视)、光纤，现在的wifi无线网使用电磁波等都属于物理层的概念。物理层的能力决定了最大传输速率、传输距离、抗干扰性等。集线器（Hub）工作在物理层。

  物理层我们考虑的比较少。因此很多时候也可以称为 TCP/IP四层模型。

  下面，我们用通俗的语言来介绍一下各层：

（1）物理层：网络通信中的硬件设备。
  比如说，我们通信的时候需要的网线或者网卡。针对硬件设备的约定，就是物理层协议所负责的范畴，这里需要保证所有的主机和设备之间都是相互匹配的。

（2）数据链路层：负责完成相邻的两个设备之间的通信

  相邻表示的是一根网线相连的两个设备。

  数据链路层规划的是一个局部的东西。

（3）网络层：负责点到点之间的通信。这里的点到点指的是网络中的任意节点到任意节点。

  比如说上图，主机1到主机3，因为在实际的网络环境中的结构是非常复杂的，两个点之间的路线不只一条，因此，网络层就需要负责在这两个点中间构建一条合适的路线。

  网络层规划的是一个全局的东西。

（4）传输层：负责端到端之间的通信。也就是起点与终点，它只关注结果，不关注过程（不管这个数据是如何传过来的，只关注能不能到）

  可以看到，以上三层整体是一个从微观到宏观的过程，先是相邻的设备之间，然后是不相邻的任意设备之间，最后直接是端口与端口之间。

（5）应用层：与应用程序密切相关，它在乎的是你传输过来的数据是干什么的。不同的应用程序有不同的用途。比如说，你QQ的数据是用来做什么的，B站看视频时的数据是用来干什么的。

  举个整体的例子：

我在网上买水杯。
商家：站在传输层，考虑的是这个东西能不能发到我手上
快递公司：站在网络层规划好传输的路线
快递小哥：站在数据链路层，把货物拉到集散中心
公路，运输车：站在物理层，提供传输的基础
我：站在应用层，拿来刷马桶

---

4.网络设备所在分层

• 对于一台主机，它的操作系统内核实现了从传输层到物理层的内容，也即是TCP/IP五层模型的下四层；
• 对于一台路由器，它实现了从网络层到物理层，也即是TCP/IP五层模型的下三层；
• 对于一台交换机，它实现了从数据链路层到物理层，也即是TCP/IP五层模型的下两层；
• 对于集线器，它只实现了物理层；

  注意我们这里说的是传统意义上的交换机和路由器，也称为二层交换机（工作在TCP/IP五层模型的下两层）、三层路由器（工作在TCP/IP五层模型的下三层）。

  
  网络数据传输时，经过不同的网络节点（主机、路由器）时，网络分层需要对应。以下为同一个网段内的两台主机进行文件传输：

 

---

 

三、封装和分用

• 不同的协议层对数据包有不同的称谓，在传输层叫做段(segment)，在网络层叫做数据报(datagram)，在链路层叫做帧(frame)。
• 应用层数据通过协议栈发到网络上时，每层协议都要加上一个数据首部(header)，称为封装(Encapsulation)。
• 首部信息中包含了一些类似于首部有多长，载荷(payload)有多长，上层协议是什么等信息。
• 数据封装成帧后发到传输介质上，到达目的主机后每层协议再剥掉相应的首部，根据首部中的 “上层协议字段” 将数据交给对应的上层协议处理

  这里的封装跟Java中“封装继承多态”，没什么关系。

  下面我以QQ发信息为例，来描述一下封装与分用。

1.分装

  用户A在键盘输入”mmp“，摁下发送键

（1）应用层工作

  最开始进行工作的是应用层，也就是QQ这个应用程序。它做的事情是：根据用户输入的内容，把数据构成一个应用层的协议报文。（协议报文：协议是一种约定，协议报文指的是符合这种约定的数据）

  QQ的代码中就会根据程序猿设计好的应用层协议，来构造出一个应用层的数据报文。

  这里的协议是程序猿自己约定的，比如说：

QQ使用的应用层协议,是开发QQ的程序猿约定的.
LOL使用的应用层协议,是开发LOL的程序猿约定的.
淘宝使用的应用层协议,是开发淘宝的程序猿约定的
这里面的具体协议内容，外部人员是不知道的。

  我们假设这里的应用层协议如下图：

  然后，应用层协议就调用操作系统提供的API（称为socket API），把应用层的数据传输给传输层，在这个时候，这个数据就进入了操作系统内核了。

（2）传输层（操作系统内核）工作

  根据刚刚传过来的数据，基于当前使用的传输层协议，来构造出一个传输层的协议报文。传输层典型的协议有UDP, TCP,我们这里以TCP为例。

  我们可以简单的把这个构造TCP报文的过程视为是一个字符串拼接，不过这里拼接的是二进制数据。

  TCP的报头中有很多信息，其中最重要的就是”源端口“和”目的端口“

  接下来，传输层就会把这个数据报，交给网络层。

（3）网络层（操作系统内核）工作

  这里拿到了完整的传输层数据报,就会根据当前使用的网络层协议，比如说IP协议,再次进行封装,把TCP数据报构成IP数据报。因此，这里还需要添加上一个协议报头。

  然后，当前的网络层协议，就会把这个IP数据报，交给数据链路层。

（4）数据链路层（驱动程序）

  这里会在刚刚的IP数据报基础上，根据当前使用的数据链路层的协议，给构造成一个数据链路层的数据报。而我们典型的数据链路层的协议，叫做“以太网”，这里就会构造一个“以太网数据帧”。

  最后，数据链路层就把这个数据传到物理层。

（5）物理层（硬件设备）工作

  根据刚刚的以太网数据帧（一组0和1数据），把这里的0，1变成高低电频，通过网线传输出去；或者把这里的0，1变成高频/低频的电磁波，通过光纤/无线的方式传播出去。

---

  上面的整个过程就是封装的过程，从上往下，数据从上层协议，交给下层协议,由下层协议进行封装，构造成该协议的报文。整个过程如下图：

  至此，数据就已经离开了当前主机,前往下一个设备。下一个设备可能是路由器，交换机等等。A与B之间可能有很多个路由器和交换机来负责数据的转发，这里面的中间过程我们暂时先不说，我们看这个数据到达B之后，会如何处理。

 

---

 

2.分用

  当数据到达B这个设备的时候：

（1）物理层（硬件设备、网卡）工作
  主机B的网卡感知到了一组高低电频，然后把这些高低电频翻译成0和1的一串数据,这一串数据就是一个完整的以太网数据帧。然后物理层就把这个数据传到数据链路层。

（2）数据链路层（驱动）

  数据链路层负责对这个数据进行解析，去掉帧头和帧尾,取出里面的IP数据报。

  然后交给网络层协议

（3）网络层（操作系统）

  网络层协议（IP协议）又会对这个数据进行解析去掉IP协议报头,取出里面的TCP数据报，再交给传输层。

（4）传输层（操作系统内核）

  传输层协议（TCP协议）又会对这个数据进行解析,去掉TCP数据报头，取出里面的TCP数据报，交给应用层。

（5）应用层（应用程序）

  应用层就会调用socket API从内核中读取到这个应用层数据报,再按照应用层协议进行解析，根据解析结果显示到窗口中。

  以上的过程就是分用的过程，分用的过程就是封装的逆过程。封装是从上而下，数据依次被加上了协议报头（包快递），分用就是从下而上，数据依次被去掉了协议报头（拆快递）。分用的过程如下图：

  上面，我们只是在讨论起点和终点的情况，在实际中，A和B的中间其实是还有很多的路由器和交换机的。

  无论网络有多复杂，这里整体的传输过程都是类似的,只是在不断的重复封装和分用的过程。

  

---

  

四、最后

  人生，寂寞如雪啊