Linux--16.以太网

认识以太网

以太网 " 不是一种具体的网络 , 而是一种技术标准 ; 既包含了数据链路层的内容 , 也包含了一些物理层的内容. 例如 : 规定了网络拓扑结构 , 访问控制方式 , 传输速率等 ;

例如以太网中的网线必须使用双绞线 ; 传输速率有 10M, 100M, 1000M 等 ;

以太网是当前应用最广泛的局域网技术 ; 和以太网并列的还有令牌环网 , 无线 LAN 等 ;

以太网帧格式

源地址和目的地址是指网卡的硬件地址 ( 也叫 MAC 地址 ), 长度是 48 位 , 是在网卡出厂时固化的 ;

帧协议类型字段有三种值 , 分别对应 IP 、 ARP 、 RARP;分别对应的是0800，0806，8035

帧末尾是 CRC 校验码

 特殊MAC地址：若目的MAC地址全部设置为1，就是广播，每一个局域网内的主机，都可以收到数据，并且向上解析

认识MAC地址

MAC 地址用来识别数据链路层中相连的节点 ;

长度为 48 位 , 及 6 个字节 . 一般用 16 进制数字加上冒号的形式来表示 ( 例如 : 08:00:27:03:fb:19)

在网卡出厂时就确定了 , 不能修改 . mac 地址通常是唯一的 ( 虚拟机中的 mac 地址不是真实的 mac 地址 , 可能会冲突; 也有些网卡支持用户配置 mac 地址 )

对比理解MAC地址和IP地址

IP 地址描述的是路途总体的 起点 和 终点 ;

MAC 地址描述的是路途上的每一个区间的起点和终点 ;

这样当数据在不断的传输过程中，源MAC地址与目的MAC地址都是在不断地变化的，而实际上因为我们NAT技术的存在，原IP地址也是在不断的进行改变的，只有目的IP一直不变

交换机

我们知道，当多个主机在局域网中相互通信的时候，数据可能会有交叉，可能会对其他的通信造成干扰，会产生碰撞，为了减少碰撞，我们采用了交换机的策略，当交换机处于不同主机之间时，交换机会将两边分为两个区域，左区域的通信不会影响到右区域，起到了隔离的作用，这样也大大提高了通信的效率

认识MTU

MTU 相当于发快递时对包裹尺寸的限制 . 这个限制是不同的数据链路对应的物理层 , 产生的限制 .

以太网帧中的数据长度规定最小 46 字节 , 最大 1500 字节 ,ARP 数据包的长度不够 46 字节 , 要在后面补填充位;

最大值 1500 称为以太网的最大传输单元 (MTU), 不同的网络类型有不同的 MTU

如果一个数据包从以太网路由到拨号链路上 , 数据包长度大于拨号链路的 MTU 了 , 则需要对数据包进行分片(fragmentation);

不同的数据链路层标准的 MTU 是不同的

MTU对IP协议的影响

由于数据链路层 MTU 的限制 , 对于较大的 IP 数据包要进行分包

将较大的 IP 包分成多个小包 , 并给每个小包打上标签 ;

每个小包 IP 协议头的 16 位标识 (id) 都是相同的 ;

每个小包的 IP 协议头的 3 位标志字段中 , 第 2 位置为 0, 表示允许分片 , 第 3 位来表示结束标记 ( 当前是否是最后一个小包, 是的话置为 1, 否则置为 0);

到达对端时再将这些小包 , 会按顺序重组 , 拼装到一起返回给传输层 ;

一旦这些小包中任意一个小包丢失 , 接收端的重组就会失败 . 但是 IP 层不会负责重新传输数据 ;

MTU对UDP协议的影响

一旦 UDP 携带的数据超过 1472(1500 - 20(IP 首部 ) - 8(UDP 首部 )), 那么就会在网络层分成多个 IP 数据报 .

这多个 IP 数据报有任意一个丢失 , 都会引起接收端网络层重组失败 . 那么这就意味着 , 如果 UDP 数据报在网络层被分片, 整个数据被丢失的概率就大大增加了

MTU对于TCP协议的影响

TCP 的一个数据报也不能无限大 , 还是受制于 MTU. TCP 的单个数据报的最大消息长度 , 称为 MSS(MaxSegment Size);

TCP 在建立连接的过程中 , 通信双方会进行 MSS 协商 .

最理想的情况下 , MSS 的值正好是在 IP 不会被分片处理的最大长度 ( 这个长度仍然是受制于数据链路层的MTU).

双方在发送 SYN 的时候会在 TCP 头部写入自己能支持的 MSS 值 .

然后双方得知对方的 MSS 值之后 , 选择较小的作为最终 MSS.

MSS 的值就是在 TCP 首部的 40 字节变长选项中 (kind=2);

查看硬件地址和MTU

 使用ifconfifig命令, 即可查看ip地址, mac地址, 和MTU;

ARP协议

虽然我们在这里介绍 ARP 协议 , 但是需要强调 , ARP 不是一个单纯的数据链路层的协议 , 而是一个介于数据链路层和网络层之间的协议

ARP协议的作用

ARP 协议建立了主机 IP 地址 和 MAC 地址 的映射关系

在网络通讯时 , 源主机的应用程序知道目的主机的 IP 地址和端口号 , 却不知道目的主机的硬件地址 ;

数据包首先是被网卡接收到再去处理上层协议的 , 如果接收到的数据包的硬件地址与本机不符 , 则直接丢弃;

因此在通讯前必须获得目的主机的硬件地址

ARP数据报格式

注意到源 MAC 地址、目的 MAC 地址在以太网首部和 ARP 请求中各出现一次 , 对于链路层为以太网的情况是多余的, 但如果链路层是其它类型的网络则有可能是必要的。

硬件类型指链路层网络类型 ,1 为以太网 ;

协议类型指要转换的地址类型 ,0x0800 为 IP 地址 ;

硬件地址长度对于以太网地址为 6 字节 ;

协议地址长度对于和 IP 地址为 4 字节 ;

op 字段为 1 表示 ARP 请求 ,op 字段为 2 表示 ARP 应答。

ARP协议工作流程

源主机发出 ARP 请求 , 询问 “IP 地址是 192.168.0.1 的主机的硬件地址是多少 ”, 并将这个请求广播到本地网段( 以太网帧首部的硬件地址填 FF:FF:FF:FF:FF:FF 表示广播 );

目的主机接收到广播的 ARP 请求 , 发现其中的 IP 地址与本机相符 , 则发送一个 ARP 应答数据包给源主机 , 将自己的硬件地址填写在应答包中;

每台主机都维护一个 ARP 缓存表 , 可以用 arp -a 命令查看。缓存表中的表项有过期时间 ( 一般为 20 分钟 ), 如果20 分钟内没有再次使用某个表项 , 则该表项失效 , 下次还要发 ARP 请求来获得目的主机的硬件地址

DNS技术

DNS技术是一套从域名映射到IP的系统

DNS背景

TCP/IP 中使用 IP 地址和端口号来确定网络上的一台主机的一个程序 . 但是 IP 地址不方便记忆 .

于是人们发明了一种叫主机名的东西 , 是一个字符串 , 并且使用 hosts 文件来描述主机名和 IP 地址的关系

 最初, 通过互连网信息中心(SRI-NIC)来管理这个hosts文件的

如果一个新计算机要接入网络 , 或者某个计算机 IP 变更 , 都需要到信息中心申请变更 hosts 文件 .

其他计算机也需要定期下载更新新版本的hosts 文件才能正确上网 .

这样就太麻烦了 , 于是产生了 DNS 系统

一个组织的系统管理机构 , 维护系统内的每个主机的 IP 和主机名的对应关系 .

如果新计算机接入网络 , 将这个信息注册到数据库中 ;

用户输入域名的时候 , 会自动查询 DNS 服务器 , 由 DNS 服务器检索数据库 , 得到对应的 IP 地址

至今 , 我们的计算机上仍然保留了 hosts 文件 . 在域名解析的过程中仍然会优先查找 hosts 文件的内容

域名简介

主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称

www.baidu.com

比如我们大名鼎鼎的百度，我们也可以发现，域名相对于我们的IP而言更符合我们的思维，用我们可以理解的字符串来表示的

com: 一级域名 . 表示这是一个企业域名 . 同级的还有 "net"( 网络提供商 ), "org"( 非盈利组织 ) 等 .

baidu: 二级域名 , 公司名 .

www: 只是一种习惯用法 . 之前人们在使用域名时 , 往往命名成类似于 ftp.xxx.xxx/ www.xxx.xxx 这样的格式, 来表示主机支持的协议

ICMP协议

ICMP 协议是一个 网络层协议

一个新搭建好的网络 , 往往需要先进行一个简单的测试 , 来验证网络是否畅通 ; 但是 IP 协议并不提供可靠传输 . 如果丢包了, IP 协议并不能通知传输层是否丢包以及丢包的原因

所以就有了我们的ICMP协议，当数据在网络层丢包，则会返回一个丢包原因给传输层

ICMP功能

ICMP 正是提供这种功能的协议 ; ICMP 主要功能包括 :

确认 IP 包是否成功到达目标地址 .

通知在发送过程中 IP 包被丢弃的原因 .

ICMP 也是基于 IP 协议工作的 . 但是它并不是传输层的功能 , 因此人们仍然把它归结为网络层协议 ;

ICMP 只能搭配 IPv4 使用 . 如果是 IPv6 的情况下 , 需要是用 ICMPv6;

 ping命令

 

注意 , 此处 ping 的是域名 , 而不是 url! 一个域名可以通过 DNS 解析成 IP 地址 .

ping 命令不光能验证网络的连通性 , 同时也会统计响应时间和 TTL(IP 包中的 Time To Live, 生存周期 ).

ping 命令会先发送一个 ICMP Echo Request 给对端 ;

对端接收到之后 , 会返回一个 ICMP Echo Reply;

 traceroute命令

也是基于 ICMP 协议实现 , 能够打印出可执行程序主机 , 一直到目标主机之前经历多少路由器

‘

 我们看到这里的ICMP返回的都是*，这是因为防火墙封掉了返回信息

NAT技术

NAT技术背景

之前我们讨论了 , IPv4 协议中 , IP 地址数量不充足的问题

NAT 技术当前解决 IP 地址不够用的主要手段 , 是路由器的一个重要功能

NAT 能够将私有 IP 对外通信时转为全局 IP. 也就是就是一种将私有 IP 和全局 IP 相互转化的技术方法 :

很多学校 , 家庭 , 公司内部采用每个终端设置私有 IP, 而在路由器或必要的服务器上设置全局 IP;

全局 IP 要求唯一 , 但是私有 IP 不需要 ; 在不同的局域网中出现相同的私有 IP 是完全不影响的 ;

NAT IP转换过程

NAT 路由器将源地址从 10.0.0.10 替换成全局的 IP 202.244.174.37;

NAT 路由器收到外部的数据时 , 又会把目标 IP 从 202.244.174.37 替换回 10.0.0.10;

在 NAT 路由器内部 , 有一张自动生成的 , 用于地址转换的表 ;

当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系 ;

其实这里我们就会有一个疑问了，我们既然将主机的IP地址替换了，那么服务器想要相应，是怎么发送回去的？

其实我们的NAT路由器中会自动的生成一张地址转换表，当我们客户端发送数据时建表，服务器响应时查表，TCP建立连接时生成表，断开连接后则会删除

那么问题来了 , 如果局域网内 , 有多个主机都访问同一个外网服务器 , 那么对于服务器返回的数据中 , 目的 IP 都是相同的. 那么 NAT 路由器如何判定将这个数据包转发给哪个局域网的主机 ?

这时候 NAPT 来解决这个问题了 . 使用 IP+port 来建立这个关联关系

 NAT技术的缺陷

由于 NAT 依赖这个转换表 , 所以有诸多限制

无法从 NAT 外部向内部服务器建立连接 ;

装换表的生成和销毁都需要额外开销 ;

通信过程中一旦 NAT 设备异常 , 即使存在热备 , 所有的 TCP 连接也都会断开 ;

NAT和代理服务器

路由器往往都具备 NAT 设备的功能 , 通过 NAT 设备进行中转 , 完成子网设备和其他子网设备的通信过程 .

代理服务器看起来和 NAT 设备有一点像 . 客户端像代理服务器发送请求 , 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后 , 代理服务器又把结果回传给客户端 .

那么 NAT 和代理服务器的区别有哪些呢

从应用上讲 , NAT 设备是网络基础设备之一 , 解决的是 IP 不足的问题 . 代理服务器则是更贴近具体应用 , 比

如通过代理服务器进行翻墙 , 另外像迅游这样的加速器 , 也是使用代理服务器 .

从底层实现上讲 , NAT 是工作在网络层 , 直接对 IP 地址进行替换 . 代理服务器往往工作在应用层 .

从使用范围上讲 , NAT 一般在局域网的出口部署 , 代理服务器可以在局域网做 , 也可以在广域网做 , 也可以跨网

从部署位置上看 , NAT 一般集成在防火墙 , 路由器等硬件设备上 , 代理服务器则是一个软件程序 , 需要部署在服务器上.

.

代理服务器由分为

• 正向代理：主机要求代理服务器向目的服务器要某种资源。
• 反向代理：主机向代理服务器要某种资源。主机不关心资源时从哪台服务器来的，当代理服务器检测到该资源请求很多，会向目标服务器请求大量该资源，缓存再代理服务器中。

正向代理用于请求的转发 ( 例如借助代理绕过反爬虫 ).

反向代理往往作为一个缓存