IP协议
IP给通信双方提供了一种能力:将数据从A主机跨网络传输到B主机的能力。
1. IP协议报头
- 4位版本号(version): 指定IP协议的版本, 对于IPv4来说, 就是4.
- 4位首部长度(header length): IP头部的长度是多少个32bit, 也就是 length * 4 的字节数. 4bit表示最大的数字是15, 因此IP头部最大长度是60字节. (标准情况下为20字节,但是这里的单位是4字节的,所以这里应该填写5的二进制为101)
- 8位服务类型(Type Of Service): 3位优先权字段(已经弃用), 4位TOS字段, 和1位保留字段(必须置为0). 4位TOS分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本. 这四者相互冲突, 只能选择一个. 对于ssh/telnet这样的应用程序, 最小延时比较重要; 对于ftp这样的程序, 最大吞吐量比较重要. (操作系统帮我们决定,使用默认的就行)
- 16位总长度(total length): IP数据报整体占多少个字节.
- 16位标识(id): 唯一的标识主机发送的报文. 如果IP报文在数据链路层被分片了, 那么每一个片里面的这个id都是相同的.
- 3位标志字段: 第一位保留(保留的意思是现在不用, 但是还没想好说不定以后要用到). 第二位置为1表示禁止分片, 这时候如果报文长度超过MTU, IP模块就会丢弃报文. 第三位表示"更多分片", 如果分片了的话, 最后一个分片置为0, 其他是1. 类似于一个结束标记.
- 13位分片偏移(framegament offset): 是分片相对于原始IP报文开始处的偏移. 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 * 8 得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是8的整数倍(否则报文就不连续了).
- 8位生存时间(Time To Live, TTL): 数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL -= 1, 一直减到0还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环。
- 8位协议: 表示上层协议的类型( 对于任何一个报文,都要解决两件事:①将报头和有效载荷进行分离②将自己的有效载荷交付给上层的哪一个协议)
- 16位头部校验和: 使用CRC进行校验, 来鉴别头部是否损坏. (能更快的识别是否是合格IP报头)
- 32位源地址和32位目标地址: 表示发送端和接收端.
- 选项字段(不定长, 最多40字节): 这个就由4位首部长度来决定了
1.1 分片和组装
MTU(最大传输单元):mac帧或者网卡所能承担的最大载荷(这里就是1500字节)。
- 为啥要分片?
mac帧的有效载荷=ip报头 + ip有效载荷,如果超过了MTU那么就要倒逼着网络层的IP进行分片。来计算一下,如果mac帧的有效载荷为1500字节,那么在标准情况下ip的有效载荷应该为1480字节,那么tcp的有效载荷应该为1460字节(MSS:TCP单个数据报的最大消息长度)。 - 为啥要组装?
只有ip层知道报文进行了分片,且别人也不关心。mac帧层只是定了一个协议,不允许有效载荷超过1500字节而已,然而 TCP层传下来的是一个完整的报文,那么在接收的时候也应该拿到一个完整的报文,所以这里要进行组装。 - 那如何组装呢?
这里就用到了ip报文中的16位标识,3位标志,13位片偏移。假设收到了很多的ip报文,有的进行了分片,有的则没有,分三步:①把分片的报文挑选出来(3位标志中的第三位,如果是1说明分片了)②把同一组的报文进行归类(16位标识如果相同,说明是同一组)③进行排序组装(通过13位片偏移进行排序即可)
假设现在mac帧的有效载荷为3000字节,如何进行分片?分几片?
- 应该在网络层(ip)进行分片,应该分3片,而不是2片的1500字节,因为每个分片之后的报文都应该带上一个ip报头。3000字节的时候网络层的有效载荷为2980字节,如果分2片,那么此时两片加起来的有效载荷为1480 * 2 = 2960字节,少了20个字节。所以还需要一片,这一片的有效载荷为20字节。这样才正确的的进行了分片。
分片之后,任何一个分片丢了,那么TCP协议会对整个ip报文进行重传,而不是单纯的只传丢失的分片报文(因为TCP不知道你分片了)。所以分片并不好,要尽量控制长度,不要超过MTU的1500字节。 ip地址分片对于UDP的影响较大。
1.2 硬件设备
在网络层往下开始逐渐的增加了硬件设备。
- 交换机:划分碰撞域减少碰撞的次数(一块区域发生了碰撞并不影响另一块区域的通信)
- 集线器:会对传输的信号进行放大。(因为随着距离的增加,信号的传递会衰减)
- 路由器:数据路由和动态分配IP地址
2. 网段划分
IP地址分为两个部分, 网络号和主机号
- 网络号: 保证相互连接的两个网段具有不同的标识;
- 主机号: 同一网段内, 主机之间具有相同的网络号, 但是必须有不同的主机号;
- 不同的子网其实就是把网络号相同的主机放到一起.
- 如果在子网中新增一台主机, 则这台主机的网络号和这个子网的网络号一致, 但是主机号必须不能和子网中的其他主机重复
通过合理设置主机号和网络号, 就可以保证在相互连接的网络中, 每台主机的IP地址都不相同.
那么问题来了, 手动管理子网内的IP, 是一个相当麻烦的事情.
- 有一种技术叫做DHCP, 能够自动的给子网内新增主机节点分配IP地址, 避免了手动管理IP的不便.(用了我给你分配,不用的时候我在回收回来)
- 一般的路由器都带有DHCP功能. 因此路由器也可以看做一个DHCP服务器.
过去曾经提出一种划分网络号和主机号的方案, 把所有IP 地址分为五类, 如下图所示:
(这是一种粗力度的划分方式,从上表中可以看到他是以第一个一直到第五个bit位是否为0且前面的bit位均为1进行的分类,这种划分方式很不好,因为相当于已经把ip地址给固定化了)
- A类 0.0.0.0到127.255.255.255
- B类 128.0.0.0到191.255.255.255
- C类 192.0.0.0到223.255.255.255
- D类 224.0.0.0到239.255.255.255
- E类 240.0.0.0到247.255.255.255
随着Internet的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请B类网络地址, 导致B类地址很快就分配完了, 而A类却浪费了大量地址;
针对这种情况提出了新的划分方案, 称为CIDR(Classless Interdomain Routing):
- 引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;
- 子网掩码也是一个32位的正整数. 通常用一串 “0” 来结尾;
- 将IP地址和子网掩码进行 “按位与” 操作, 得到的结果就是网络号;
- 网络号和主机号的划分与这个IP地址是A类、B类还是C类无关(CIDR的划分方式和和上面的分类方式可以认为毫不相干);
IP地址与子网掩码做与运算可以得到网络号, 主机号从全0到全1就是子网的地址范围;
IP地址和子网掩码还有一种更简洁的表示方法,例如140.252.20.68/24,表示IP地址为140.252.20.68, 子网掩码的高24位是1,也就是255.255.255.0
2.1 特殊的IP地址
- 将IP地址中的主机地址全部设为0, 就成为了网络号, 代表这个局域网;
- 将IP地址中的主机地址全部设为1, 就成为了广播地址, 用于给同一个链路中相互连接的所有主机发送数据包;
- 127.*的IP地址用于本机环回(loop back)测试,通常是127.0.0.1
2.2 IP地址的数量限制
CIDR在一定程度上缓解了IP地址不够用的问题(提高了利用率, 减少了浪费, 但是IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:
- 动态分配IP地址: 只给接入网络的设备分配IP地址. 因此同一个MAC地址的设备, 每次接入互联网中, 得到的IP地址不一定是相同的;
- IPv6: IPv6并不是IPv4的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6用16字节128位来表示一个IP地址; 但是目前IPv6还没有普及(真正的从根本上解决问题);
- NAT技术(下面有详细解释)
3. 私有IP地址和公网IP地址
如果一个组织内部组建局域网,IP地址只用于局域网内的通信,而不直接连到Internet上,理论上 使用任意的IP地址都可以,但是RFC 1918规定了用于组建局域网的私有IP地址
- 10.*,前8位是网络号,共16,777,216个地址
- 172.16.到172.31.,前12位是网络号,共1,048,576个地址
- 192.168.*,前16位是网络号,共65,536个地址
包含在这个范围中的, 都成为私有IP, 其余的则称为全局IP(或公网IP)
(要想构建一个局域网ip地址那么就必须从这三类中选,且私有IP地址不能出现在公网中)
- 一个路由器可以配置两个IP地址,一个是WAN口IP,一个是LAN口IP (子网IP).
- 路由器LAN口连接的主机, 都从属于当前这个路由器的子网中.
- 不同的路由器, 子网IP其实都是一样的(通常都是192.168.1.1). 子网内的主机IP地址不能重复. 但是子网之间的IP地址就可以重复了.
- 每一个家用路由器, 其实又作为运营商路由器的子网中的一个节点. 这样的运营商路由器可能会有很多级, 最外层的运营商路由器, WAN口IP就是一个公网IP了.
- 子网内的主机需要和外网进行通信时, 路由器将IP首部中的IP地址进行替换(替换成WAN口IP), 这样逐级替换, 最终数据包中的IP地址成为一个公网IP. 这种技术称为NAT(Network Address Translation,网络地址转换).
1. 所有的客户端请求都必须先经过运营商的中转,然后在才能中转到互联网公司,
2. 所有的请求都必须不断的经过NAT地址转化发到公网当中
4. 路由
路由查找的过程是先查找到目的网络在查找到目标主机。
路由的过程, 就是这样一跳一跳(Hop by Hop) “问路” 的过程.
所谓 “一跳” 就是数据链路层中的一个区间. 具体在以太网中指从源MAC地址到目的MAC地址之间的帧传输区间。
IP数据包的传输过程
- 当IP数据包, 到达路由器时, 路由器会先查看目的IP;
- 路由器决定这个数据包是能直接发送给目标主机, 还是需要发送给下一个路由器;
- 依次反复, 一直到达目标IP地址
那么如何判定当前这个数据包该发送到哪里呢? 这个就依靠每个节点内部维护一个路由表
- 路由表可以使用route命令查看
- 如果目的IP的网络号在路由表中, 就直接转发即可;
- 路由表中的最后一行,主要由下一跳地址和发送接口两部分组成,当目的地址与路由表中其它行都不匹配时,就按缺省路由条目规定的接口发送到下一跳地址。
假设某主机上的网络接口配置和路由表如下:
- 这台主机有两个网络接口,一个网络接口连到192.168.10.0/24,另一个网络接口连到192.168.56.0/24网络;
-路由表的Destination是目的网络地址,Genmask是子网掩码,Gateway是下一跳地址,Iface是发送接口,Flags中的U标志表示此条目有效(可以禁用某些 条目),G标志表示此条目的下一跳地址是某个路由器的地址,没有G标志的条目表示目的网络地址是与本机接口直接相连的网络,不必经路由器转发;
转发过程例1: 如果要发送的数据包的目的地址是192.168.56.3
- 跟第一行的子网掩码做与运算得 到192.168.56.0,与第一行的目的网络地址不符再跟第二行的子网掩码做与运算得 到192.168.56.0,正是第二行的目的网络地址,因此从eth1接口发送出去;
- 由于192.168.56.0/24正是与eth1 接口直接相连的网络,因此可以直接发到目的主机,不需要经路由器转发;
转发过程例2: 如果要发送的数据包的目的地址是202.10.1.2
- 依次和路由表前几项进行对比, 发现都不匹配;
- 按缺省路由条目(Destination), 从eth0接口发出去, 发往192.168.10.1路由器; 由192.168.10.1路由器根据它的路由表决定下一跳地址。
这里的default更像是你去问路,XXX怎么去?大爷想了想,还是没有想到这个地方在哪里,他就说了一句你去问一下那个人,他在这一片已经生活了很久了,一定知道怎么去。也就是说虽然他不知道,但是他可以给你提供一个方法,让你能够找到正确的路。
5. 重要的协议
5.1 DNS(域名解析)
DNS是一整套从域名映射到IP的系统(属于应用层)
DNS的底层使用的是UDP协议,因为足够简单,如果失败了那就在请求一次。
TCP/IP中使用IP地址和端口号来确定网络上的一台主机的一个程序. 但是IP地址不方便记忆. 于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用hosts文件来描述主机名和IP地址的关系.
DNS系统
- 一个组织的系统管理机构, 维护系统内的每个主机的IP和主机名的对应关系.
- 如果新计算机接入网络, 将这个信息注册到数据库中;
- 用户输入域名的时候, 会自动查询DNS服务器, 由DNS服务器检索数据库, 得到对应的IP地址.
至今, 我们的计算机上仍然保留了hosts文件. 在域名解析的过程中仍然会优先查找hosts文件的内容.
cat /etc/hosts
域名简介
www.baidu.com
域名使用 . 连接
- com: 一级域名. 表示这是一个企业域名. 同级的还有 “net”(网络提供商), “org”(非盈利组织) 等.
- baidu: 二级域名, 公司名.
- www: 只是一种习惯用法. 之前人们在使用域名时, 往往命名成类似于ftp.xxx.xxx/www.xxx.xxx这样的格式, 来表示主机支持的协议.(其实也可以省略掉)
5.2 ICMP协议
ICMP协议是一个网络层协议 (但是和IP具有上下层关系,起到一个诊断的作用)
一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是IP协议并不提供可靠传输. 如果丢包了, IP协议并不能通知传输层是否丢包以及丢包的原因.
ICMP正是提供这种功能的协议; ICMP主要功能包括:
- 确认IP包是否成功到达目标地址.
- 通知在发送过程中IP包被丢弃的原因.
- ICMP也是基于IP协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议;
- ICMP只能搭配IPv4使用. 如果是IPv6的情况下, 需要是用ICMPv6;
IP报文中有一个8位协议,就是要把有效载荷交付给上层哪一个协议,这里就有可能是UDP或TCP还可能是ICMP协议。
ping命令底层使用的就是ICMP协议
- 此处 ping 的是域名, 而不是url! 一个域名可以通过DNS解析成IP地址.
- ping命令不光能验证网络的连通性, 同时也会统计响应时间和TTL(IP包中的Time To Live, 生存周期).
- ping命令会先发送一个 ICMP Echo Request给对端;
- 对端接收到之后, 会返回一个ICMP Echo Reply;
traceroute命令
也是基于ICMP协议实现, 能够打印出可执行程序主机, 一直到目标主机之前经历多少路由器
5.3 NAT技术(重要)
IPv4协议中, IP地址数量不充足,NAT技术是当前解决IP地址不够用的主要手段, 是路由器的一个重要功能;
- NAT能够将私有IP对外通信时转为全局IP. 也就是就是一种将私有IP和全局IP相互转化的技术方法:
- 很多学校, 家庭, 公司内部采用每个终端设置私有IP, 而在路由器或必要的服务器上设置全局IP;
- 全局IP要求唯一, 但是私有IP不需要; 在不同的局域网中出现相同的私有IP是完全不影响的;
NAPT技术
- NAT路由器将源地址从10.0.0.10替换成全局的IP 202.244.174.37;
- NAT路由器收到外部的数据时, 又会把目标IP从202.244.174.37替换回10.0.0.10;
- 在NAT路由器内部, 有一张自动生成的, 用于地址转换的表; 当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;
这种关联关系也是由NAT路由器自动维护的. 例如在TCP的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项。
NAT技术的缺陷
由于NAT依赖这个转换表, 所以有诸多限制:
- 无法从NAT外部向内部服务器建立连接;
- 转换表的生成和销毁都需要额外开销;
通信过程中一旦NAT设备异常, 即使存在热备(备胎), 所有的TCP连接也都会断开;
NAT和代理服务器
路由器往往都具备NAT设备的功能, 通过NAT设备进行中转, 完成子网设备和其他子网设备的通信过程.
代理服务器看起来和NAT设备有一点像. 客户端像代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端.
那么NAT和代理服务器的区别有哪些呢?
- 从应用上讲, NAT设备是网络基础设备之一, 解决的是IP不足的问题. 代理服务器则是更贴近具体应用, 比如通过代理服务器进行翻墙, 另外像迅游这样的加速器, 也是使用代理服务器.
- 从底层实现上讲, NAT是工作在网络层, 直接对IP地址进行替换. 代理服务器往往工作在应用层.
- 从使用范围上讲, NAT一般在局域网的出口部署, 代理服务器可以在局域网做, 也可以在广域网做, 也可以跨网.
- 从部署位置上看, NAT一般集成在防火墙, 路由器等硬件设备上, 代理服务器则是一个软件程序, 需要部署在服务器上
代理服务器又分为正向代理和反向代理
简单点说正向代理:客户端像代理服务器发送请求, 代理服务器将请求转发给真正要请求的服务器; 服务器返回结果后, 代理服务器又把结果回传给客户端,反向代理则是:当你有需要的时候就直接找代理服务器,你也不要管代理服务器如何方式获得你要访问的真正服务器,反转你有要求就直接找代理服务器,他就能直接帮你返回你要的结果。
- 正向代理用于请求的转发
- 反向代理往往作为一个缓存.