计算机网络---网络层

IP协议格式

IP地址 = 网络地址（北京） + 主机地址（天安门）

IP：提供一种能力，将数据从A主机跨网络送到B主机

但有能力 ！= 能做到，只能说有很大的概率做到。需要TCP的策略+IP的能力来保证数据到达

每个协议都要解决的两个问题：：

1. 如何保障报头和有效载荷分离（4位首部长度）
2. 如何保证自己的有效载荷交付给了正确的上层（16位总长度）
   

• 4位版本号(version): 指定IP协议的版本, 对于IPv4来说, 就是4
• 4位头部长度(header length): IP头部的长度是多少个32bit, 也就是 length * 4 的字节数. 4bit表示最大的数字是15, 因此IP头部最大长度是60字节
• 8位服务类型(Type Of Service): 3位优先权字段(已经弃用), 4位TOS字段, 和1位保留字段(必须置为0). 4位TOS分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本. 这四者相互冲突, 只能选择一个. 对于ssh/telnet这样的应用程序, 最小延时比较重要; 对于ftp这样的程序, 最大吞吐量比较重要.
• 16位总长度(total length): IP数据报整体占多少个字节
• 8位生存时间(Time To Live, TTL): 数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL-= 1, 一直减到0还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环
• 8位协议: 表示上层协议的类型
• 16位标识(id): 唯一的标识主机发送的报文. 如果IP报文在数据链路层被分片了, 那么每一个片里面的这个id都是相同的
• 3位标志字段: 第一位保留(保留的意思是现在不用, 但是还没想好说不定以后要用到). 第二位置为1表示禁止分片, 这时候如果报文长度超过MTU, IP模块就会丢弃报文. 第三位表示"更多分片", 如果分片了的话,最后一个分片置为1, 其他是0. 类似于一个结束标记
• 13位分片偏移(framegament offset): 是分片相对于原始IP报文开始处的偏移. 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 * 8 得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是8的整数倍(否则报文就不连续了)

IP报文分片

每种数据链路的最大传输单元MTU都是不同的，如以太网的MTU是1500字节。每种数据链路的 MTU 之所以不同，是因为每个不同类型的数据链路的使用目的不同。使用目的不同，可承载的 MTU 也就不同。
当IP数据报大小大于MTU时，IP数据报就会被分片。

在IPv4的头部信息中有3个字段专门为IP分片服务：

一个IP数据报的每个分片都有自己的IP头部信息，他们都具有相同的标识值，但是有不同的片偏移，且除了最后一个分片外，其他分片都将设置MF标志。此外，每个分片的IP头部的总长度字段将被设置为该分片的长度。

假设发送者的协议高层向IP层发送了长度为3008 bytes的数据报文，则该报文在添加20 bytes的IP包头后IP包的总长度是 3028 bytes，因为3028 > 1500，所以该数据报文将被分片，分片过程如下：

1. 首先计算最大的IP包中IP净荷的长度 =MTU-IP包头长度=1500-20= 1480 bytes。
2. 然后把3028 bytes按照1480 bytes的长度分片，将要分为3片，3028= 1480+1480+68。
3. 最后发送者将为3个分片分别添加IP包头，组成3个IP包后再发送，3个IP包的长度分别为1500 bytes、1500 bytes和 88 bytes。
4. 标志位分别为001、001、000.片偏移为0、1480、2480

组装：

1. 特定标识的报文是否被分片了
2. 将特定标识的所有报文全部收集在一起，根据片偏移直接进行排序
3. 组合形成报文

分片是底层mac要求的。上层（TCP/IP）不知道IP报文的分片和组装。

分片也会使丢包率增大。如果有分片丢失了，整个报文无法组装，就不能交付给上层。此时应该是通知上层整个报文重传，而不是重传单个分片。分片其实是少数情况。

网段划分

IP地址分为两个部分, 网络号和主机号

• 网络号: 保证相互连接的两个网段具有不同的标识;
• 主机号: 同一网段内, 主机之间具有相同的网络号, 但是必须有不同的主机号
• 不同的子网其实就是把网络号相同的主机放到一起
• 如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网中的其他主机重复

就像学号的前半部分表示学院专业班级，后面的部分表示自己，和同班同学前半部分相同，后面不同。

通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同。那么问题来了, 手动管理子网内的IP, 是一个相当麻烦的事情。

• 有一种技术叫做DHCP, 能够自动的给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便
• 一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器

过去曾经提出一种划分网络号和主机号的方案, 把所有IP 地址分为五类：

查找目的主机的过程本质上是一个排除的过程，网段的划分是为了提高查找的效率。

• A类 0.0.0.0到127.255.255.255
• B类 128.0.0.0到191.255.255.255
• C类 192.0.0.0到223.255.255.255
• D类 224.0.0.0到239.255.255.255
• E类 240.0.0.0到247.255.255.255

随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址。

• 例如, 申请了一个B类地址, 理论上一个子网内能允许6万5千多个主机. A类地址的子网内的主机数更多.
• 然而实际网络架设中, 不会存在一个子网内有这么多的情况. 因此大量的IP地址都被浪费掉了.

针对这种情况提出了新的划分方案, 称为CIDR(Classless Interdomain Routing):

• 引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;
• 子网掩码也是一个32位的正整数. 通常用一串 “0” 来结尾;
• 将IP地址和子网掩码进行 “按位与&” 操作, 得到的结果就是网络号;
• 网络号和主机号的划分与这个IP地址是A类、B类还是C类无关

可见,IP地址与子网掩码做与运算可以得到网络号, 主机号从全0到全1就是子网的地址范围;
IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0

特殊的IP地址

• 将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网
• 将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数
  据包
• 127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1

IP地址的数量限制

我们知道, IP地址(IPv4)是一个4字节32位的正整数. 那么一共只有 2的32次方 个IP地址, 大概是43亿左右. 而TCP/IP协议规定, 每个主机都需要有一个IP地址

这意味着, 一共只有43亿台主机能接入网络么?
实际上, 由于一些特殊的IP地址的存在, 数量远不足43亿; 另外IP地址并非是按照主机台数来配置的, 而是每一个网卡都需要配置一个或多个IP地址

CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:

• 动态分配IP地址: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
• NAT技术
• IPv6: IPv6并不是IPv4的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6用16字节128位来表示一个IP地址; 但是目前IPv6还没有普及;

私有IP地址和公网IP地址

理解运营商

联通，移动，电信这些运营商进行了组件基础设施。基础设施建设在前期成本特别高

话费欠费实际上是运营商不让你上外网（抖音等），但运营商还是可以的，可以打电话给运营商，收到运营商的欠费短信等。

组件基础设施：

1. 硬件：基础硬件的铺设
2. 软件：网络划分

如果一个组织内部组建局域网,IP地址只用于局域网内的通信,而不直接连到Internet上,理论上使用任意的IP地址都可以,但是RFC 1918规定了用于组建局域网的私有IP地址

• 10.*,前8位是网络号,共16,777,216个地址
• 172.16.到172.31.,前12位是网络号,共1,048,576个地址
• 192.168.*,前16位是网络号,共65,536个地址
  包含在这个范围中的, 都称为私有IP, 其余的则称为全局IP(或公网IP);
  

路由器作用：DHCP、组建局域网
LAN：对内网络IP
WAN：对外的IP

• 一个路由器可以配置两个IP地址, 一个是WAN口IP, 一个是LAN口IP(子网IP).
• 路由器LAN口连接的主机, 都从属于当前这个路由器的子网中
• 不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). 子网内的主机IP地址不能重复. 但是子网之间的IP地址就可以重复了
• 每一个家用路由器, 其实又作为运营商路由器的子网中的一个节点. 这样的运营商路由器可能会有很多级,最外层的运营商路由器, WAN口IP就是一个公网IP了
• 子网内的主机需要和外网进行通信时, 路由器将IP首部中的IP地址进行替换(替换成WAN口IP), 这样逐级替换, 最终数据包中的IP地址成为一个公网IP. 这种技术称为NAT(Network Address Translation，网络地址转换)
• 如果希望我们自己实现的服务器程序, 能够在公网上被访问到, 就需要把程序部署在一台具有外网IP的服务器上. 这样的服务器可以在阿里云/腾讯云上进行购买.

国内的广域网网络划分是划分好的，互联网公司一定会隶属于一个子网范畴

为什么要有公网IP和私网IP？

1. IP地址不足
2. 安全

路由

假如你要去清华大学, 途中向一个大爷问路:

路由的过程, 就是这样一跳一跳(Hop by Hop) “问路” 的过程.
所谓 “一跳” 就是数据链路层中的一个区间. 具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间.
IP数据包的传输过程也和问路一样.

• 当IP数据包, 到达路由器时, 路由器会先查看目的IP;
• 路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器
• 依次反复, 一直到达目标IP地址

那么如何判定当前这个数据包该发送到哪里呢? 这个就依靠每个节点内部维护一个路由表

• 路由表可以使用route命令查看
• 如果目的IP命中了路由表, 就直接转发即可
• 路由表中的最后一行,主要由下一跳地址和发送接口两部分组成,当目的地址与路由表中其它行都不匹配
  时,就按缺省路由条目规定的接口发送到下一跳地址。
  

• 这台主机有两个网络接口,一个网络接口连到192.168.10.0/24网络,另一个网络接口连到192.168.56.0/24网络
• 路由表的Destination是目的网络地址,Genmask是子网掩码,Gateway是下一跳地址,Iface是发送接口,Flags中的U标志表示此条目有效(可以禁用某些 条目),G标志表示此条目的下一跳地址是某个路由器的地址,没有G标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由器转发

转发过程例1: 如果要发送的数据包的目的地址是192.168.56.3

• 跟第一行的子网掩码做与运算得 到192.168.56.0,与第一行的目的网络地址不符
• 再跟第二行的子网掩码做与运算得 到192.168.56.0,正是第二行的目的网络地址,因此从eth1接口发送出
  去
• 由于192.168.56.0/24正 是与eth1 接口直接相连的网络,因此可以直接发到目的主机,不需要经路由器转
  发

转发过程例2: 如果要发送的数据包的目的地址是202.10.1.2

• 依次和路由表前几项进行对比, 发现都不匹配
• 按缺省路由条目, 从eth0接口发出去, 发往192.168.10.1路由器
• 由192.168.10.1路由器根据它的路由表决定下一跳地址

NAT技术

之前我们讨论了, IPv4协议中, IP地址数量不充足的问题
NAT技术当前解决IP地址不够用、安全的主要手段，是路由器的一个重要功能

• NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法
• 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP
• 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的

NAT有三种类型：静态NAT(Static NAT)、动态地址NAT(Pooled NAT)、网络地址端口转换NAPT（Port-Level NAT）

如何发起：

1. 建立的映射条目，必须是互为key值的。
2. NAT在建立映射条目的时候，可能替换IP，也可能替换端口

NAT IP转换过程

• NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
• NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
• 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表;
• 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

NAPT

那么问题来了, 如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的IP都是相同的. 那么NAT路由器如何判定将这个数据包转发给哪个局域网的主机?
这时候NAPT来解决这个问题了. 使用IP+port来建立这个关联关系

这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项

NAT技术的缺陷

由于NAT依赖这个转换表, 所以有诸多限制:

• 无法从NAT外部向内部服务器建立连接;
• 装换表的生成和销毁都需要额外开销;
• 通信过程中一旦NAT设备异常, 即使存在热备, 所有的TCP连接也都会断开;

NAT和代理服务器

路由器往往都具备NAT设备的功能, 通过NAT设备进行中转, 完成子网设备和其他子网设备的通信过程.

代理服务器看起来和NAT设备有一点像. 客户端像代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端.

那么NAT和代理服务器的区别有哪些呢?

• 从应用上讲, NAT设备是网络基础设备之一, 解决的是IP不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器, 也是使用代理服务器
• 从底层实现上讲, NAT是工作在网络层, 直接对IP地址进行替换. 代理服务器往往工作在应用层
• 从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网.
• 从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上.

代理服务器又分为正向代理和反向代理.

代理服务器又分为正向代理和反向代理.
正向代理用于请求的转发(例如借助代理绕过反爬虫).
反向代理往往作为一个缓存.

缓存工作可以加速局域网内资源共享的速度

让客户端的请求均匀落在多个机器上，而不是同时请求到同一台。

为什么云服务器，不能bind本地的公网ip，因为用的实际上是内网ip

ICMP协议

ICMP协议是一个网络层协议，在IP上面一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是IP协议并不提供可靠传输. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因

ping命令用的就是ICMP协议

ICMP正是提供这种功能的协议; ICMP主要功能包括:

• 确认IP包是否成功到达目标地址
• 通知在发送过程中IP包被丢弃的原因
• ICMP也是基于IP协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议
• ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6

ICMP的报文格式

ICMP大概分为两类报文:

• 一类是通知出错原因
• 一类是用于诊断查询

ping命令

• 注意, 此处 ping 的是域名, 而不是url! 一个域名可以通过DNS解析成IP地址
• ping命令不光能验证网络的连通性, 同时也会统计响应时间和TTL(IP包中的Time To Live, 生存周期)
• ping命令会先发送一个 ICMP Echo Request给对端
• 对端接收到之后, 会返回一个ICMP Echo Reply

一个值得注意的坑

telnet是23端口, ssh是22端口, 那么ping是什么端口?

ping命令基于ICMP, 是在网络层. 而端口号, 是传输层的内容. 在ICMP中根本就不关注端口号这样的信息