数据链路层详解

数据链路层

用于两个设备(同一种数据链路节点)之间进行传递

认识以太网

• “以太网”不是一种具体的网络，而是一种技术标准；既包含了数据链路层的内容，也包含了一些物理层的内容，例如：规定了网络拓扑结构，访问控制方式，传输速率等；
• 例如以太网中的网线必须使用双绞线；传输速率有10M，100M,1000M等

• 以太网是当前应用最广泛的局域网技术，和以太网并列的还有令牌环网，无线LAN等；

以太网帧格式

以太网的帧格式如下所示：

• 源地址和目的地址是指网卡的硬件地址(即MAC地址)，长度是48位，是在网卡出厂时固化的。
• 长度为48位，及6个字节。一般用16进制数字加上冒号的形式来表示(例如：08:00:27:03:fb:19)
• 在网卡出厂时就确定了，不能修改。mac地址通常是唯一的(虚拟机中的mac地址不是真实的mac地址，可能会冲突；也有些网卡支持用户配置mac地址)

对比理解MAC地址和IP地址

• IP地址描述的是路途总体的 起点 和 终点
• MAC地址描述的是路途上的每一个区间的起点和终点

认识MTU

MTU相当于发快递时对包裹尺寸的限制，这个限制是不同的数据链路对应的物理层，产生的限制。

• 以太网帧中的数据长度规定最小46个字节，最大1500字节，ARP数据包的长度不够46字节，要在后面补填充位
• 最大值1500称为以太网的最大传输单元(MTU)，不同的网络类型有不同的MTU；
• 如果一个数据包从以太网路由到拨号链路上，数据包长度大于拨号链路的MTU了，则需要对数据包进行分片。
• 不同的数据链路层标准的MTU是不同的。

MTU对IP协议的影响

由于数据链路层MTU的限制，对于较大的IP数据包要进行分包

• 将较大的IP包分成多个小包，并给每个小包打上标签
• 每个小包的IP协议头的16位标识(id)都是相同的
• 每个小包的IP协议头的3位标志字段中，第2位置为0，表示允许分片，第3位来表示结束标记(当前是否是最后一个小包，使得话置为1，否则置为0)；
• 到达对端时再将这些小包，会按顺序重组，拼装到一起返回给传输层
• 一旦这些小包中任意一个小包丢失，接收端的重组就会失败，但是IP层不会负责重新传输数据。

MTU对UDP的影响

• 一旦UDP携带的数据超过1472(1500-20(IP首部)-8(UDP首部))，那么就会在网络层分成多个IP数据报。
• 这多个IP数据报有任意一个丢失，都会引起接收端网络层重组失败。那么就意味着，如果UDP数据报在网络层被分片，整个数据被丢失的概率就大大增加了。

MTU对于TCP协议的影响

• TCP的一个数据报也不能无限大，还是受制于MTU。TCP的单个数据报的最大消息长度，称为MSS
• TCP在建立连接的过程中，通信双方会进行MSS协商
• 最理想的情况下，MSS的值正好是在IP不会被分片处理的最大长度(这个长度仍然是受制于数据链路层的MTU)
• 双方在发送SYN报文的时候会在TCP头部写入自己能支持的MSS值
• 然后双方得知对方的MSS值之后，选择较小的作为最终MSS
• MSS的值就是在TCP首部中的40字节变长选项中(kind = 2)

查看硬件地址和MTU

使用ifconfig命令，即可查看IP地址，mac地址，和MTU；

ARP协议

虽然在这里介绍ARP协议，但是需要注意的是，APR不是一个单纯的数据链路层的协议，而是一个介于数据链路层和网络层 之间的协议

ARP协议的作用

ARP协议建立了主机 IP地址 和 MAC地址 的映射关系

• 在网络通讯时，源主机的应用程序直到目的主机的IP地址和端口号，却不知道目的主机的硬件地址。
• 数据包首先是被网卡接收到再去处理上层协议的，如果接收到的数据包的硬件地址与本机不符，则直接丢弃
• 因此在通讯之前必须获得目的主机的硬件地址

ARP协议的工作流程

• 源主机发出ARP请求，询问“IP地址是192.168.0.1的主机的硬件地址是多少”，并将这个请求广播到本地网段(以太网帧首部的硬件地址填FF:FF:FF:FF:FF:FF:FF表示广播)
• 目的主机接收到广播的ARP请求，发现其中的IP地址与本机相符，则发送一个ARP应答数据包给源主机，将自己的硬件地址填写在应答包中。
• 每台主机都维护一个ARP缓存表，可以用arp -a命令查看，缓存表中的表项有过期时间(一般为20分钟)，如果20分钟内没有再次使用某个表项，则该表项失效，下次还要发ARP请求来获得目的主机的硬件地址

其他重要协议或技术

DNS：

DNS是一整套从域名映射到IP的系统

DNS背景

TCP/IP使用IP地址和端口号来确定网络上的一台主机的一个程序。但是IP地址不方便记忆

于是人们发明了一种叫主机名的东西，是一个字符串，并且使用hosts文件描述主机名和IP地址的关系。

最初，通过互联网信息中心(SRI-NIC)来管理这个hosts文件的。

• 如果一个新计算机要接入网络，或者某个计算机IP变更，都需要到信息中心申请变更hosts文件
• 其他计算机也需要定期下载更新版本的hosts文件才能正确上网。

这样太麻烦了，于是产生了DNS系统。

• 一个组织的系统管理结构，维护系统内的每个主机的IP和主机名的对应关系。
• 如果计算机接入网络，将这个信息注册到数据库中
• 用户输入域名的时候，会自动查询DNS服务器，由DNS服务器检索数据库，得到对应的IP地址 

至今，我们的计算机上仍然保留了hosts文件。在域名解析的过程中仍然会优先查找hosts文件的内容。

cat /etc/hosts

域名简介

主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称

www.baidu.com

域名使用 . 连接

• .com：一级域名，表示这是一个企业域名，同级的还有“net”(网络提供商)，“org”(非盈利组织)等
• baidu：二级域名，公司名
• www：只是一种习惯用法，之前人们在使用域名时，往往命名类似于ftp.xxx.xxx/www.xxx.xxx这样的格式，来表示主机支持的协议

使用dig工具分析DNS过程

安装dig工具

yum install bind-utils

之后就可以使用dig指令查看域名解析过程了。

dig www.baidu.com

结果解释

1. 开头位置是dig指令的版本号
2. 第二部分是服务器返回的详情，重要的是status参数，NOERROR表示查询成功
3. QUESTION SECTION表示要查询的域名是什么
4. ANSWER SECTION表示查询结果是什么，这个结果先将www.baidu.com查询成了www.a.shifen.com,再将www.a.shifen.com查询成了两个ip地址
5. 最下面是一些结果统计，包含查询时间和DNS服务器的地址等。

在浏览器中输入url后，发生的事情？

这是一个经典的面试题，没有固定的答案，但是越详细越好

ICMP协议

ICMP协议是一个网络层协议

一个新搭建好的网络，往往需要先进行一个简单的测试，来验证网咯是否通畅；但是IP协议并不提供可靠传输，如果丢包了，IP协议并不能通知传输层是否丢包以及丢包的原因。

ICMP功能

ICMP正是提供这种功能的协议，ICMP主要功能包括：

• 确认IP包是否成功到达目标地址
• 通知在发送过程中IP包被丢弃的原因
• ICMP也是基于IP协议工作的，但是他不是传输层的功能，因此人们仍然把他归结为网络层协议
• ICMP只能搭配IPv4来使用，如果是IPv6的情况下，需要使用ICMPv6

ICMP的报文格式

ICMP大概要分为两类报文：

• 一类是通知出错原因
• 一类是用于诊断查询

ping命令

• 注意，此处ping的是域名，而不是url！一个 域名可以通过DNS解析成IP地址
• ping命令不光能验证网络的连通性，同时也会统计响应时间和TTL(IP包中的Time To Live，生存周期)
• ping命令会先发送一个ICMP Echo Request给对端
• 对端接收到以后，会返回一个ICMP Echo Reply

一个值得注意的坑

有些面试官会问：telnet是23端口，ssh是22端口，那么ping是多少端口？

ping命令是基于ICMP，是在网络层，而端口号是传输层的内容。在ICMP中根本就不关注端口号这样的信息

tracetoute命令

也是基于ICMP协议实现，能够打印出可执行程序主机，一直到目标主机之前经历多少路由器。

NAT技术

NAT技术背景

在IPv4协议中，IP地址数量不充足的问题

NAT技术当前解决了IP地址不够用的主要手段，是路由器的一个重要功能。

• NAT能够将私有IP对外通信时转为全局IP。也就是一红将私有IP和全局IP相互转化的技术方法
• 很多学校，家庭，公司内部采用每个终端设置为私有IP，而在路由器或必要的服务器上设置全局IP
• 全局IP要求唯一，但是私有IP不需要；在不同的局域网中出现相同的私有IP是完全不影响的。

NAT IP转换过程

• NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
• NAT路由器收到外部的数据时，又会把目标IP从202.244.174.37替换回10.0.0.10
• 在NAT路由器内部，有一张自动生成的，用于地址转换的表
• 当10.0.0.10第一次向163.221.120.9发送数据时就会生成表中的映射关系。

NAPT

如果局域网内，有多个主机都访问 同一个外网服务器，那么对于服务器返回的数据中，目的IP都是相同的，那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机？

这个时候NAPT来解决这个问题，使用IP+port建立这个关联关系

这种关联关系也是由NAT路由器自动维护的。例如在TCP的情况下，建立连接时，就会生成这个表项；在断开连接后，就会删除这个表项

NAT技术的缺陷

由于NAT依赖这个转化表，所以由诸多限制

• 无法从NAT外部向内部服务器建立连接
• 转换表的生成和销毁都需要额外开销
• 通信过程中一旦NAT设备异常，即使存在设备，所有的TCP连接也都会断开

NAT和代理服务器

路由器往往都是具备NAT设备的功能，通过NAT设备进行中转，完成子网设备和其他子网设备的通信过程

代理服务器看起来和NAT设备有一点像。客户端像代理服务器发送请求，代理服务器将请求转发给真正要请求的服务器，服务器返回结果后，代理服务器又把结果返回了客户端。

那么NAT和代理服务器的区别有哪些呢？

• 从应用上讲，NAT设备是网络基础设备职意，解决的是IP不足的问题，代理服务器则是更贴近具体应用，比如通过代理服务器进行翻墙，另外像迅游这样的加速器，也是使用代理服务器
• 从底层实现上讲，NAT是工作在网络层，直接对IP地址进行替换，代理服务器往往工作在应用层
• 从使用范围上讲，NAT一般在局域网的出口部署，代理服务器可以在局域网做，也可以在广域网做，也可以跨网
• 从部署位置上看，NAT一般集成在防火墙，路由器等硬件设备上，代理服务器则是一个软件程序，需要部署在服务器上

代理服务器是一种比较广的技术

• 翻墙：广域网中的代理
• 负载均衡：局域网中的代理

代理服务器又分为正向代理和反向代理

正向代理用于请求和转发(例如借助代理绕过反爬虫)

反向代理往往作为一个缓存

总结

数据链路层

• 数据链路层的作用：两个设备(同一种数据链路节点)之间进行传递数据
• 以太网是一种数据标准，即包含了数据链路层的内容，也包含了一些物理层的内容。例如：规定了网络拓扑结构，访问控制方式，传输速率等；
• 以太网帧格式
• 理解mac地址
• 理解arp协议
• 理解MTU

网络层

• 网络层的作用：在复杂的网络环境中确定一个合适的路径
• 理解IP地址，理解IP地址和MAC地址的区别
• 理解IP协议格式
• 了解网段划分方法
• 理解如何解决IP数目不足的问题，掌握网段划分的两种方案。理解私有IP和公网IP
• 理解网络层的IP地址路由过程，理解一个数据包如何跨域网段到达最终目的地
• 理解IP数据包分包的原因
• 了解ICMP协议
• 了解NAT设备的工作原理

传输层

• 传输层的作用：负责数据能够从发送端传输接收端
• 理解端口号的概念
• 认识UDP协议，了解UDP协议的特点
• 认识TCP协议，理解TCP协议的可靠性。理解TCP协议的状态转化
• 掌握TCP的连接管理，确认应答，超时重传，滑动窗口，流量控制，拥塞控制，延时应答，捎带应答特性
• 理解TCP面向字节流。理解粘包问题和解决方案。
• 能够基于UDP实现可靠传输
• 理解MTU对UDP/TCP的影响

应用层

• 应用层作用：满足我们日常需求的网络程序，都在应用层
• 能够根据自己的需求，设计应用层协议
• 了解HTTP协议
• 理解DNS的原理和工作流程