1.概述
最近没有写想法,但本着长时间不写会生疏的说法,还是简单写一篇技术文章。这篇主要聊聊网络方面知识,涉及面广,但是不深 a。OK,话不多说,下文主要就是先介绍网络工作原理,然后从语言层面进行具体的实现分析。希望对大家有所帮助。
2.网络现状
互联网是离不开网络的(说了句废话)。比如IM、游戏、浏览器网页等场景,都需要网络的支持。网络依赖协议,没有协议是无法进行网络传输的。因为别人并不知道你发送的是什么妖魔鬼怪。
目前用的最多的就是IP协议。传输层一般是TCP和UDP。游戏场景可能用UDP多一点,毕竟TCP为数据传输可靠以及网络链路做出了很大的让步。这也是理所应当的。正是因为多种场景才会出现多个协议。如果一个TCP能解决所有问题,那有它一个就够了。应用层有个通用的HTTP协议。
3.网络工作原理
我们今天就以浏览器访问网页的用例来聊聊网络是如何连接工作的。
浏览器(就是一个软件)通过多个进程去工作。其中一个就是用来进行网络通信的进程(具体是不是这样不清楚,但大概差不多),当我们从输入框输入网站地址的并点击访问的时候,整个网络通信就开始了。
生成HTTP请求
对于请求,大家应该都不陌生,进行网络通信的时候,都需要一个对应协议的请求。浏览器在应用层使用的是HTTP协议。为什么是HTTP,为什么需要协议。一方面为了让多语言可以通信(比如浏览器一般是C++,服务器可以是JAVA或者其他)。另一方面也是为了根据需求需要一些记录。也就是每个数据包公有的部分。
比如HTTP请求第一行就是如下数据。我们可以通过方法判断什么请求,可以通过URI区分请求的资源路径等。
方法 空格 URI 空格 HTTP版本
当然,我们也可以实现自己的应用层协议满足我们的场景。虽然使用HTTP可以满足任何场景,但一些多余数据会影响网络通信性能。目前的大部分RPC调用都是自定义协议。一些游戏场景也是如此。对于应用层的开发,我们能做的可能就只有改应用层协议了。
或许有些人说可以基于UDP去改装一个传输层的协议。但这其实还是依赖UDP(比如KCP协议)。
这里所说的协议就是应用层一些。可以这么说:哪一层的协议就会在对应层进行处理。
- 如果是传输层协议TCP。那么操作系统的TCP模块收到包后,进行模块内逻辑处理完成后,砍掉TCP头部(TCP协议部分),将数据丢给应用层。
- 如果应用层协议,我们的应用层服务器收到数据包之后,会进行处理,最后将所有数据封装丢给我们去做逻辑。
一个数据包,在我们想要发出去之后,他会进行层层包装。然后转换成电信号,传输到对端。对端又会层层解包装。感觉就像是一个入栈出栈的过程。
查询解析域名
首先浏览器进程会根据输入的域名去获取对应域名的IP地址。这个过程叫做域名解析(DNS解析)。其实就是从本机配置,缓存或者DNS服务器获取域名对应的IP。当然DNS服务器也支持通过IP查域名。这是一个可逆的过程。详细的大家可以去了解域名解析过程。我们目前知道目的和结果就行。
TCP模块
构造好应用层请求数据包,并查询了目的地。浏览器进程会委托TCP模块将数据包发送出去。
这里所说的协议栈描述的就是操作系统的TCP/IP模块。因为是操作系统的模块,所以我们一般无法直接修改它的逻辑。我们能做的最多的就是通过操作系统提供的参数配置进行优化传输。这个读者可以详细了解。
使用TCP发送数据包,需要建立连接。经过三次握手之后才能收发数据,结束之后,也是需要进行四次挥手的。
TCP模块会为应用层数据封装一个TCP头部。然后丢给IP模块。TCP建立连接的方式也是如此。相当于发一个不带应用层数据的TCP头部,并标志响应的字段告诉对端这是一个建立连接的请求包。
具体的TCP模块内容,大家可以去看看内核TCP源码。过程十分复杂(毕竟工业落地要考虑各种问题),但是大概了解应该还行。或者可以看看相关paper。
IP模块
IP模块负责的事情也比较多。因为经过IP模块处理后,网卡只需要将包传输出去即可。
IP模块主要就是添加IP头部和MAC头部信息。IP头部主要包括的就是将包发往目地的控制信息。
IP模块不会关注上层协议的数据。也就是IP模块把UDP包和TCP包看作一整块二进制数据。他只负责就这些数据发出去。至于包是否有序或者是否丢失,它并不关注。这也其实符合传统设计原则。各模块层应该是互相解耦的设计。
IP头部
IP头部主要信息就是包的目标地址,和源地址。目标地址是上层告知的,也就是TCP模块(TCP从应用层得到)。
源地址是根据目标地址获取到的。为什么这样说?其实数据包是通过网卡发送的。一个网卡对应一个IP地址,我们需要根据目标地址查询该数据包应该从哪个网卡发送出去。
这个查询过程依赖的就是IP路由表。
如上图,IP模块会根据目标地址和网络目标栏匹配,如果没有匹配的则走0.0.0.0,也就是默认地址。而后面接口对应的地址就是网卡的IP地址。
IP头部的其他数据就暂且不说。
MAC头部
每个网卡都会有一个MAC地址。在生产的时候就会写入网卡的ROM中。
我们知道了网卡就知道了源MAC地址。
目标MAC地址是通过ARP协议,依赖网关查询来的。具体ARP实现原理大家可以自行学习。
大家可能有个疑问,为什么IP模块会负责MAC地址的封住。毕竟MAC头部应该是由以太网负责的。其实就是为了降低网卡的工作。毕竟IP模块是可以完成这些工作的。如果后续有其他协议替换IP协议。网卡模块如此设计也是可以直接支持的。
封装成功后,会依赖网卡将数据转化为电信号发送出去。具体的发送过程就不说了,涉及物理层,细节可以大家去了解。
目前的网络传输依赖的都是路由器。并且目前的路由器已经继承了交换机和集线器的功能。所以大家直接了解路由器的工作原理即可。
IP分片
这里我们需要注意的一点就是路由器是基于IP协议去实现的。所以路由器的IP模块和上述计算机的类似。路由器收到包后会根据IP地址确定包的下一跳。并且根据一些限制可能会进行包的分片。也就是IP分片。是否分片主要取决于包的配置(是否允许)以及目标路由器能接受包的大限制(MTU),当然IP分片只会降低传输性能。所以,我们平时应该避免。
我们不能只保证应用层包小于MTU即可。因为这个MTU还包括了TCP以及IP头部。所以我们还要减去这两个部分。尤其对性能有要求的场景。我们需要重点关注。
上图就是一个网路包在网络传输的过程。
接收网络包
其实接收只不过是发送的逆过程。
网卡将电信号转转化为数字信号后,发送给MAC模块。MAC模块主要就是校验包是不是发给自己,并且校验是否发生错误。否则都会丢弃数据包。完成之后会将数据包放入缓冲区,然后通知操作系统,是通过中断的方式。
CPU接收到中断信号,会切换到中断处理程序,中断处理程序会调用网卡驱动程序,从网卡缓冲区读取数据,然后根据数据的协议将其发送给对应的模块。一般就是IP模块。
然后就是从IP传到TCP在传到应用服务器。最后传到业务层。
4.源码分析
接下来我主要从代码分析我们如何进行网络通信。其实用C代码更好理解,但是我主要是做JAVA,所以我们主要研究一些JAVA是如何做封装的。
代码层面,网络通信依赖socket。这里我们直接上升到的是协议栈的socket(这里说的是传输层)。所谓协议栈的socket,其实就是协议栈一块内存空间。结构化的存储了一些通信所需的控制信息。比如IP和端口号,通信状态等。协议栈依赖这块内存空间进行数据的传输。
JAVA中的socket也是如此,只不过他不会直接对应协议栈的socket。而是抽象出来一层。最后还是会将信息对接到协议栈。这层抽象保证了我们在java中的一些操作,会直接映射到底层协议。(java就是一层更高层次的抽象)
OK,了解了socket。我们就可以深入源码啦!
Server:
ServerSocket ss =new ServerSocket(10000);
Socket s = ss.accept();
Client:
Socket s = new Socket("localhost",10000);
上面是一个简单的例子。服务端初始化一个ServerSocket。并调用accept方法,即可监听客户端连接。
客户端初始化Socket,就已经向服务端发器连接。
ServerSocket构造过程
try {
SecurityManager security = System.getSecurityManager();
if (security != null)
security.checkListen(epoint.getPort(