本文是整理记录阮一峰原作者的博客的内容,自我学习记录使用
- 我们每天使用互联网,你是否想过,它是如何实现的?
- 全世界几十亿台电脑,连接在一起,两两通信。上海的某一块网卡送出信号,洛杉矶的另一块网卡居然就收到了,两者实际上根本不知道对方的物理位置,你不觉得这是很神奇的事情吗?
- 互联网的核心是一系列协议,总称为"互联网协议"(Internet Protocol Suite)。它们对电脑如何连接和组网,做出了详尽的规定。理解了这些协议,就理解了互联网的原理。
一、概述
1.1互联网的五层模型
互联网的实现,分为好几层,每一层都有自己的功能,就像建筑物一样,每一层都有下一层的支持。用户接触到的,只是最上面的一层,根本没有感觉到下面的层,要理解互联网,必须从最下层开始自下而上的理解每一层的功能;
如何分层有不同的模型,有的模型分七层,有的分四层。我觉得把互联网分为五层,比较容易理解;
如上图,最底下的一层叫做“实体层(Physical Layer)”,最上面的叫“应用层(Application Layer)”,中间的三层自下而上分别为“链接层(Link Layer)”、“网络层(Network Layer)”和“传输层(Transport Layer)”;越下面的层越靠近硬件,越上面的层越靠近用户;
他们叫什么名字其实并不重要,重要的是你知道互联网分为若干层就可以了;
1.2层与协议
每一层都是为了完成某一种功能,为了实现这些功能,就需要大家都遵守共同的规则;大家都遵守的规则,就叫做“协议(protocol)”
互联网的每一层,都定义了很多协议。这些协议的总称,就叫做“互联网协议(Internet Protocol)”,它们是互联网的核心,下面介绍每一层的功能主要是介绍每一层的主要协议;
实体层
我们从最底下一层开始,电脑要组网,第一件事要干什么?当然是先把电脑连起来,可以用光缆,电缆、双绞线、无线电波等方式;
这就是“实体层”,它就是把电脑连起来的物理手段,主要规定了网络的一些电气特性,作用是负责传输0和1的电信号;
链接层
1.定义
单纯的0和1没有任何意义,必须规定解读方式;多少个电信号算一组?每个信号位有何意义?这就是“链接层”的功能,它是“实体层的上方”,确定了0和1的分组方式;
2.以太网协议
早期的时候,每家公司都有自己的电信号分组方式。逐渐的,一种叫做“以太网”的协议,占据了主导地位;
以太网规定,一组电信号构成一个数据包,叫做“帧(Frame)”。每一帧分为两个部分:标头(head)和数据(Data);
标头”包含数据包的一些说明项,比如发送者、接受者、数据类型等等;”数据”则是数据包的具体内容。
“标头”的长度,固定为18字节。”数据”的长度,最短为46字节,最长为1500字节。因此,整个”帧”最短为64字节,最长为1518字节。如果数据很长,就必须分割成多个帧进行发送。
3.MAC地址
上面提到,以太网数据包的“标头”包含了发送者和接受者的信息,那么发送者和接受者是如何标识呢?
以太网规定,连入网络的所有设备,都必须具有“网卡”接口,数据包必须是从一块网卡,传送到另外一开网卡,网卡的地址,就是数据包的发送地址和接受地址,这就是MAC地址;
每块网卡出厂的时候,都有一个全世界独一无二的MAC地址,长度是48个二进制,通常用12个十六进制数表示;
前6个十六进制数是厂商编号,后六个是该厂商的网卡流水号,有了MAC地址,就可以定位网卡和数据包的路径了;
4.广播
定义地址只是第一步,后面还有更多步骤:
首先,一块网卡怎么会知道另一块网卡的MAC地址?
回答是有一种ARP协议,可以解决这个问题,这个留到后面介绍,这里只需要知道,以太网数据包必须知道接收方的MAC地址,然后才能发送;
其次,就算有了MAC地址,系统怎么样才能把数据包准确的发送到接收方;
回答是以太网采用了一种很“原始”的方式,它不是把数据包准确的送到接收方,而是向本网络内所有的计算机发送,让每台计算机自己判断,是否为接受方;
上图中,1号计算机向2号计算机发送一个数据包,同一个自网络下的3、4、5号计算机都会受到这个包,它们读取这个包的“标头”,找到接受放的MAC地址,然后和自身的MAC地址做比较,如果相同,则接受这个包,如果不同,就丢弃这个包,这种发送方式就叫做“广播”;,有了数据包的定义,网卡的MAC地址,广播的发送方式,“链接层”就可以在多台计算机之间传送了;
网络层
1.网络层的由来
以太网协议,依靠MAC地址发送数据,单单依靠MAC地址,上海的网卡就可以找到洛杉矶的网卡了,技术上是可以实现的;
但是,这样做有一个重大的缺点。以太网采用广播方式发送数据包,所有成员人手一“包”,不仅效率低,而且局限在发送者所在的子网络。也就是说,如果两台计算机不在同一个子网络,广播是传不过去的。这种设计是合理的,否则互联网上每一台计算机都会收到所有包,那将是灾难;
互联网是无数子网络共同组成的一个巨型网络,很难想象上海和洛杉矶的电脑会在一个子网络,这几乎是不可能的;
因此,必须找到一种方式,能够区分哪些MAC地址属于同一个子网络,哪些不是。如果是同一个子网络就采用广播形式发送,否则就采用“路由”方式发送。(“路由”是指如何向不同的子网络发送数据包,这是一个很大的主题,附链接:路由是什么?),遗憾的是,MAC地址本身无法做到这一点,它只与厂商有关,与所处网络无关;
这就导致了“网络层”的诞生。它的作用是引进一套新的地址,使得我们能够区分不同的计算机是否属于同一个子网络,这套地址就叫做“网络地址”,简称“网址”;
于是,“网络层”出现以后,每台计算机有了两种地址,一种是MAC地址,另一种是网络地址;两种地址之间没有任何联系,MAC地址是绑定在网卡上的,网址则是管理员分配的,他们只是随机的组合在一起;
网络地址帮助我们确定计算机所在的子网络,MAC地址则将数据包发送到到该子网络的目标网卡,因此,从逻辑上判断,必定是先处理网络地址,然后再处理MAC地址;
2.IP协议
规定网络地址的协议,就叫做“IP协议”,被称为IP地址;
目前,广泛的采用IP协议的第四版,简称IPv4,这个版本规定,网络地址由32个二级制位组成。
习惯上,我们用分成四段的十进制表示IP地址,从0.0.0.0一直到255.225.255.255。
互联网上的每一台计算机,都会分配到一个IP地址,这个地址分成两个部分,前一部分代表网络,后一部分代表主机;比如:IP地址172.16.254.1,这是一个32位的地址,假如它的网络部分是前24位:172.16.254,那么主机部分就是后八位(最后的那个1);处于同一子网络下的电脑,他们IP地址的网络部分必定是相同的,也就是说172.16.254.2应该与172.16.254.1处于同一个子网络;
但是,问题在于,单单从IP地址,我们无法判断那部分是网络部分,以172.16.254.1为例,他的网络部分到底是前24位还是前16位,甚至前28位,从IP地址上是看不出来的;那么,怎么才能从IP地址上判断两台计算机是否属于同一个网络呢?这就要用到另外一个参数“子网掩码(subnet mask)”;
所谓“子网掩码”就是表示子网络特征的一个参数,他在形式上等同于IP地址,也是一个32位的二进制数字,他的网络部分全部为1,主机部分全部为0.比如,IP地址172.16.254.1,如果已知网络部分是前24诶,主机部分是后8位,那么子网掩码就是11111111.11111111.11111111.00000000,写成十进制就是255.255.255.0;
知道了“子网掩码”,我们就能判断任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个位数都为1,运算结果为1,否则为0),然后比较结果是否相同,如果是的话,就表明它们在同一个子网络中,否则就不是;
比如,已知IP地址172.16.254.1和172.16.254.233的子网掩码都是255.255.255.0,请问它们是否在同一个子网络?两者与子网掩码分别进行AND运算,结果都是172.16.254.0(网络标识相同),因此他们在同一个子网络;
插一段AND运算解释:
把IP和子网掩码的每位数AND。
AND方法:0和1=0 0和0=0 1和1=1
如:AND 192.168.0.1,255.255.255.0,先转换为二进制,然后AND每一位
IP:11000000.10101000.00000000.00000001
子网掩码:11111111.11111111.11111111.00000000
得出AND结果:11000000.10101000.00000000.00000000
转换为十进制192.168.0.0,这就是网络标识;
判断网络标识是否相同,就知道两个IP地址是否处于同一子网络
总结下,IP协议的作用有两个,一个是为每台计算机分配一个IP地址,另一个是确定哪些地址在同一个子网络下;
3.IP数据包
根据IP协议发送的数据,就叫做IP数据包,不难想象,几种必定包括IP地址信息;
但是前面说过,以太网数据包只包括MAC地址,并没有IP地址的栏位,那么是否需要修改数据定义,再添加一个栏位呢?
回答是不需要,我们可以把IP数据包直接放到以太网的“数据”部分,因此完全不用修改以太网的规格。这就是互联网分层的好处:上层的变动完全不会涉及下层的结构;
具体来说,IP数据包也分为“标头”和“数据”两个部分;
“标头”部分主要包括版本、长度、IP地址等信息,“数据”部分则是IP数据包的具体内容。他放进以太网数据包后,以太网数据包就变成了下面这样;
IP数据包的“标头”部分长度为20到60字节,整个数据包的总长度最大为65,535字节。因此,理论上一个IP数据包的“数据”部分,最长为65,515字节,前面说过,以太网数据包的“数据”部分,最长只有1500字节,因此,如果IP数据包超过了1500字节,他就需要分割成几个以太网数据包,分别发送了;
4.APR协议
关于“网络层”,还有最后一点说明:
因为IP数据包是放在以太网数据包里发送的,所以我们必须同时知道两个地址,一个是对方的MAC地址,另一个是是对方的IP地址,通常情况下,对方的IP地址是已知的(后文会解释),但是我们不知道对方的MAC地址,所以,我们需要一种机制,能够从IP地址获取MAC地址;
这里分为两种情况:
第一种:如果两台主机不在同一个子网络,那么事实上没有办法得到对方的MAC地址,只能把数据传送给两个子网络连接处的“网关(gateway)”,让网关处理。
第二种:如果两台主机在同一个子网络,那那么我们可以用ARP协议得到对方的MAC地址。ARP协议也是发出一个数据包(包含在以太网数据包中),其中包含它所要查询主机的IP地址,在对方的MAC地址这一栏,填的是FF:FF:FF:FF:FF:FF,表示这四一个“广播”地址。他所在的子网络的每一台主机都会收到这个数据包,从中取出IP地址,与自身的IP地址进行比较。如果两者相同,就做出回复,向对方报告自己的MAC地址,否则就丢弃这个包;
总之,有了ARP协议之后,我们就可以得到同一个子网络内的主机MAC地址,可以把数据包发送到任意一台主机上了;
传输层
1.传输层的由来
有了MAC地址和IP地址,我们已经可以在互联网上任意两台主机上建立通信;
接下来的问题是:同一台主机上有许多程序都需要用到网络,比如,你一边浏览网页,一边与朋友在线聊天。当一个数据包从互联网上发过来的时候,你怎么知道,这个数据包表示的是网页的内容还是在线聊天的内容?
也就是说,我们还需要一个参数,表示这个数据包到底供那个程序(进程)使用,这个参数就叫做“端口(port)”,它其实是每个使用网卡的程序的编号。每个数据包都发到主机的特定端口,所以不同的程序就能取得自己所需要的数据。
“端口”是0到65535之间的一个整数,正好个二进制位。0到1023的端口被系统占用,用户只能选用大于1023的端口。不管是浏览器还是在线聊天,应用程序会随机选用一个端口,然后与服务器的相应端口联系;
“传输层”的功能,就是建立“端口到端口”的通信。相比之下,“网络层”的功能是建立“主机到主机”的通信。只要确定主机和端口,我们就能实现程序之间的交流;因此,Unix系统就把主机+端口叫做“套接字(socket)”有了它,就可以进行网络应用程序开发了。
2.UDP协议
现在,我们必须在数据包中加入端口信息,这就需要新的协议,最简单的实现叫做UDP协议,它的格式几乎就是在数据前面加上端口号;
UDP数据包:也是由“标头”和“数据”两部分组成;
“标头”部分主要定义了发出端口和接收端口,“数据”部分就是具体的内容。然后,把整个UDP数据包放入IP数据包的“数据”部分,而前面说过,IP数据包又是放在以太网数据包之中,所以整个以太网数据包就变成了下面这样:
UDP数据包非常简单,“标头”部分一共只有8个字节,总长度不超过65535字节,正好放进一个IP数据包;
3.TCP协议
UDP协议的优点是比较简单,容易实现,但是缺点是可靠性较差,一数据包发出,无法知道对方是否收到;
为了解决这个问题,提高网络可靠性,TCP协议就诞生了,这个协议非常复杂,但是可以近似认为,它就是有确认机制的UDP协议,每发出一个数据包就要求确认。如果有一个数据包遗失,就收不到确认,发出方就知道有必要重发这个数据包了;因此,TCP协议能够确保数据不会遗失。它的缺点是过程复杂、实现困难、消耗较多的资源;
TCP数据包和UDP数据包一样,都是内嵌在IP数据包的“数据”部分。TCP数据包没有长度限制,理论上可以无限长,但是为了保证网络的效率,通常TCP数据包的长度不会超过IP数据包的长度,以确保单个TCP数据包不必再分割;
应用层
应用程序收到“传输层”的数据,接下来就要解读。由于互联网的开放架构,数据来源五花八门,必须事先规定好格式,否则根本无法解读。
“应用层”的作用,就是规定应用程序的数据格式;
举例说明,TCP协议可以为各种各样的程序传递数据,比如Email、WWW、FTP等等,那么,必须有不同的协议规定电子邮件、网页、FTP数据的格式,这些应用程序协议就构成了“应用层”。
这是最高的一层,直接面对用户。他的数据就放在TCP数据包的“数据”部分。因此,现在以太网的数据包就变成现在这样:
至此,整个互联网的五层结构,自下而上全部介绍完毕,这是从系统的角度解释互联网是如何构成的,下一篇,将从用户的角度,自上而下看看这个结构是如何发挥作用,完成一次网络数据交换的;