目录
做电商运维的对打开浏览器通过域名网站网站中间经历的环节应该懂得个大概,这样才访问我们运维。
本节主要涉及的技术有DNS、 网络基础、CDN、HTTP
因为涉及的每一个技术都可以写一本书,所以只能说是概述了。
本节涉及书籍推荐《网络是怎样连接的 》《图解HTTP》《CCNA学习指南第七版》《图解TCPIP(第5版)》
一、没有CDN只有普通DNS传统访问过程
我就拿百度域名在没有CDN的情况,只有DNS情况下做一下简单说明。
在windos电脑打开浏览器输入www.baidu.com回车直到浏览器上有显示大概经历哪些东西呢?
1.1 进行DNS域名解析(主要是获取IP地址)
1.1.1 对域名进行DNS解析
1)先查看本地hosts文件有没有www.baidu.com这个域名,对应的IP,如果有就直接返回IP,完成域名解析了
hosts文件路径为:C:\Windows\System32\drivers\etc\hosts #我们开发测试使用的是本地测试环境,所以一般绑定本地的host就行了
2)如果hosts没有就查本地的dns缓存,如果有则完成域名解析
查看本地dns缓存可以使用:ipconfig /displaydns
3)如上面的都没有,则会查看本地的dns进行远程DNS解析,这个过程在下节讲,如果返回就得到IP,如果还是找不到就域名解析不了。
1.1.2 dns工作原理
下图是展示了DNS实现过程:
1、在浏览器中输入www.baidu.com域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个ip地址映射,完成域名解析。
2、如果hosts里没有这个域名的映射,则会查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返回,完成域名解析。
3、如果hosts与本地DNS解析器缓存都没有相应的网址映射关系,首先会找TCP/IP参数中设置的首选DNS服务器,在此我们叫它本地DNS服务器,此服务器收到查询时,如果要查询的域名,包含在本地配置区域资源中,则返回解析记过给客户端,完成域名解析,此解析具有权威性。
4、如果要查询域名,不由本地DNS服务器区域解析,但该服务器已缓存了此网址映射关系,则调用这个IP地址映射,完成域名解析,此解析不具有权威性。
5、如果本地DNS服务器本地区域文件与缓存解析都失效,则根据本地DNS服务器的设置(是否设置转发器)进行查询,如果未用转发模式,本地DNS就把请求发至13台根DNS,根DNS服务器收到请求后会判断这个域名(.com)是谁来授权管理,并会返回一个负责该顶级域名服务器的一个IP。本地DNS服务器收到IP信息后,将会联系负责.com域的这台服务器。这台负责.com域的服务器收到请求后,如果自己无法解析,它就会找一个管理.com域的下一级DNS服务器地址(baidu.com)给本地DNS服务器。当本地DNS服务器收到这个地址后,就会找baidu.com域服务器,重复上面的动作,进行查询,直至找到www.baidu.com主机。
6、如果用的是转发模式,此DNS服务器就会把请求转发至上一级DNS服务器,由上一级服务器进行解析,上一级服务器如果不能解析,或找根DNS或把请求转至上上级,以此循环。不管是本地DNS服务器用是转发,还是根提示,最后都是把结果返回给本地DNS服务器,由此DNS服务器再返回给客户机。
从上图可以知道,客户端到本地DNS服务器是属于递归查询,而DNS服务器之间的交互查询就是迭代查询
递归查询与迭代查询
递归,只发送一次请求,得到一次准确结果(消耗资源)
迭代,发送多次请求,得到参考结果
一次完整得查询请求经过得流程
client-->hosts文件-->DNS service
local cache -->DNS server(recursion递归)-->server cache -->iteration(迭代)
PS:我们在购买域名的时候会默认使用提供商的DNS服务器,国人比较有名的有新网、万网
进行DNS解析的比较有名的第三方是dnspod
一般购买域名如果要进行解析需要填写A记录,所以A就是IP地址,如下:
至于怎么填写,各种记录可以去了解一下:
https://support.dnspod.cn/Kb/guide/
NS(nameserver)得缩写,专用于表明当前区域的DNS服务器
A (address),后面记录得对应ipv4地址;FQDN-->IP
AAAA 对应得ipv6地址;FQDN-->IPV6
PTR (pointTER)指针,后面记录得数据就是反解到得主机名;IP-->FQDN
CNAME 别名,一个主机名可以有多个别名,但ip地址事一样得;
MX 邮件服务器;
结合起来可以用下面的网络图表示:
二、使用CDN方式实现(主要也是获取IP地址)
上面讲了没有CDN的情况,而一般的大公司都会使用CDN技术,称“把网站放在家门口”,当你访问时会先直接访问离你最近的CDN节点,直接返回结果。
通过以上四个步骤,浏览器完成从用户处接收用户要访问的域名到从域名服务主机处获取数据的整个过程。CDN网络是在用户和服务器之间增加Cache层,如何将用户的请求引导到Cache.上获得源服务器的数据,主要是通过接管DNS实现。
使用CDN技术后访问过程如下图:
PS:CDN是无法缓存动态内容的,也不推荐缓存动态内容,会出现问题的,影响业务!
当方便动态内容的时候需要直接访问源网站,我们起一个名字叫回源
三、数据封装和传输
在进行数据封装之前,得说一下访问web的常用协议HTTP,HTTP传输是基于TCP协议的,三次握手,四次断开,这些在CCNA中都有介绍我这里就不详细了,如果有需要可以私信我,我可以给CCNA方面的资料。
3.1 HTTP介绍
http要讲的话又是一本书,我这里就不详细讲了,有兴趣的可以看一下《图解HTTP 》,毕竟是自学,有些书还是需要看,有些技术还是需要学习的。
下图是浏览器与web交互方式:
查看HTTP相关信息可以使用火狐浏览器的web开发者工具,打开火狐浏览器按F12即可,操作如下图:
这里看得比较多就的是状态码
HTTP状态码总的分为五类:
1开头:信息状态码
2开头:成功状态码
3开头:重定向状态码
4开头:客户端错误状态码
5开头:服务端错误状态码
1XX:信息状态码
状态码 | 含义 | 描述 |
100 | 继续 | 初始的请求已经接受,请客户端继续发送剩余部分 |
101 | 切换协议 | 请求这要求服务器切换协议,服务器已确定切换 |
2XX:成功状态码
状态码 | 含义 | 描述 |
200 | 成功 | 服务器已成功处理了请求 |
201 | 已创建 | 请求成功并且服务器创建了新的资源 |
202 | 已接受 | 服务器已接受请求,但尚未处理 |
203 | 非授权信息 | 服务器已成功处理请求,但返回的信息可能来自另一个来源 |
204 | 无内容 | 服务器成功处理了请求,但没有返回任何内容 |
205 | 重置内容 | 服务器处理成功,用户终端应重置文档视图 |
206 | 部分内容 | 服务器成功处理了部分GET请求 |
3XX:重定向状态码
状态码 | 含义 | 描述 |
300 | 多种选择 | 针对请求,服务器可执行多种操作 |
301 | 永久移动 | 请求的页面已永久跳转到新的url |
302 | 临时移动 | 服务器目前从不同位置的网页响应请求,但请求仍继续使用原有位置来进行以后的请求 |
303 | 查看其他位置 | 请求者应当对不同的位置使用单独的GET请求来检索响应时,服务器返回此代码 |
304 | 未修改 | 自从上次请求后,请求的网页未修改过 |
305 | 使用代理 | 请求者只能使用代理访问请求的网页 |
307 | 临时重定向 | 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求 |
4XX:客户端错误状态码
状态码 | 含义 | 描述 |
400 | 错误请求 | 服务器不理解请求的语法 |
401 | 未授权 | 请求要求用户的身份演验证 |
403 | 禁止 | 服务器拒绝请求 |
404 | 未找到 | 服务器找不到请求的页面 |
405 | 方法禁用 | 禁用请求中指定的方法 |
406 | 不接受 | 无法使用请求的内容特性响应请求的页面 |
407 | 需要代理授权 | 请求需要代理的身份认证 |
408 | 请求超时 | 服务器等候请求时发生超时 |
409 | 冲突 | 服务器在完成请求时发生冲突 |
410 | 已删除 | 客户端请求的资源已经不存在 |
411 | 需要有效长度 | 服务器不接受不含有效长度表头字段的请求 |
412 | 未满足前提条件 | 服务器未满足请求者在请求中设置的其中一个前提条件 |
413 | 请求实体过大 | 由于请求实体过大,服务器无法处理,因此拒绝请求 |
414 | 请求url过长 | 请求的url过长,服务器无法处理 |
415 | 不支持格式 | 服务器无法处理请求中附带媒体格式 |
416 | 范围无效 | 客户端请求的范围无效 |
417 | 未满足期望 | 服务器无法满足请求表头字段要求 |
5XX:服务端错误状态码
状态码 | 含义 | 描述 |
500 | 服务器错误 | 服务器内部错误,无法完成请求 |
501 | 尚未实施 | 服务器不具备完成请求的功能 |
502 | 错误网关 | 服务器作为网关或代理出现错误 |
503 | 服务不可用 | 服务器目前无法使用 |
504 | 网关超时 | 网关或代理服务器,未及时获取请求 |
505 | 不支持版本 | 服务器不支持请求中使用的HTTP协议版本 |
请求方法:
GET: 获取URL指定的资源,默认方法,就进直接在浏览器输入,回车
POST:传输实体信息
PUT:上传文件
DELETE:删除文件
HEAD:获取报文首部,与GET相比,不返回报文主体部分
OPTIONS:询问支持的方法
TRACE:追踪请求的路径;
CONNECT:要求在与代理服务器通信时建立隧道,使用隧道进行TCP通信。主要使用SSL和TLS将数据加密后通过网络隧道进行传输。
3.2 OSI七层协议
OSI七层只是理论模型并没有得到大量推广,现在使用的主要还是TCP/IP四层模型,OSI七层与TCP/IP四层对应如下:
各层之间的相关协议和单位:
◆协议:
-
互联网层:IP协议
-
传输层:TCP(面向连接),UDP(面向无连接) 协议
-
应用层:http,https,ftp,ldap...
◆单位:
-
数据线路层:以太网帧(MTU最大传输单元1500字节);
-
互联网层:IP报文
3.3 TCP
web应用程序使用操作系统的 socket 接口进行网络编程,socket 里封装了 TCP 协议。应用程序通过 socket 接口使用 TCP 协议完成网络编程,socket 或者 TCP 在应用程序看就是一个底层通信协议,事实上,TCP 仅仅是一个传输层协议,在传输层协议之下,还有网络层协议,网络层协议之下还有数据链路层协议,数据链路层协议之下还有物理层协议。在上面OSI七层已经做了介绍了。
TCP最著名的就是三次握手四次断开,如下图:
具体的我就不细说了,因为这又是一本书的知识了,有兴趣可以看一下《图解TCPIP(第5版)》
3.4 HTTP数据封装及传输
上面第一和第二章只说了通过DNS或CDN方式把你域名获取到对应的IP地址,因为只在知道目标IP地址才能请求和传输。
现在就说HTTP包的封装,上面3.1-3.3小节对HTTP、TCP/IP四层、TCP进行简单的介绍,现在这里就就讲对HTTP数据进行封装、传输、解封装的过程,为了方便大家理解,我找了一个动画图,如下:
从上面的动画中可以清晰地看到怎么封装、通过internet接收后进行解封装的。
3.4.1 数据的封装
因为HTTP工作在应用端,默认使用的是80端口,这里浏览器请求就相当于HTTP数据,对应图中的数据。上图动画中是按OSI七层模型的,实际应用是TCP/IP四层,所以它会话层、表示层、应用层看成了TCP/IP的应用层了。之后第往下一层加了个报头部
传输层:有UDP和TCP可选,因为是HTTP协议,使用的是TCP传输的,所以添加TCP报头
网络层:添加IP报头
链路层:添加帧头,这里我们使用的是网卡,所以添加LLC头和MAC头。像特殊的如帧中继是没有MAC的
物理:主要就是转为0和1方便在网络中进行传输
发送方静态图如下:
3.4.2 解封装
当web服务器收到这个包是发给自己的,就会进行接收,再一层一层解报头,如上面动画那样,当解到传输层,发现是使用TCP进行传输的,就会建立三层握手,接收完之后就会进行四次断开。到应用层发现是HTTP使用端口为80,就会把数据发给端口80端口的应用程序,如nginx、apache等。
静态图如下:
3.4.3 HTTP总体封装与解封装图
综合上面可以得出一个总体的HTTP封装、传输、解封装图,如下: