HTTP通信

HTTP通信过程包括从客户端发往服务器端的请求以及从服务器端返回客户端的响应.

1. HTTP报文结构

用于HTTP协议交互的信息成为HTTP报文. 请求端发送的HTTP报文成为请求报文,响应端的叫做响应报文. HTTP报文分为报文首部+空行+报文主体,通常并不一定有报文主体.

HTTP报文结构

HTTP请求报文

请求报文首部的结构如下:

  1. 请求行:包含用于请求的方法,请求URI和HTTP版本。
  2. 请求首部字段:客户端发往服务端请求报文中使用的字段,用来补充请求的附加信息、客户端信息、对响应呢日用相关的优先级能内容。
  3. 通用首部字段:请求报文和响应报文都会用到的首部。
  4. 实体首部字段:包含在请求报文和响应报文中的实体部分所使用的首部,用来补充内容的更新时间和实体相关的信息。
  5. 其他:自行扩展的。

HTTP响应报文

响应报文首部的结构如下:

  1. 状态行:包含表明响应结果的状态码,原因短语和HTTP版本。
  2. 响应首部字段:由服务器端向客户端返回响应报文中所使用的字段,用来补充响应附信息、服务器信息,以及对客户端的附加要求等信息。
  3. 通用首部字段:请求报文和响应报文都会用到的首部。
  4. 实体首部字段:包含在请求报文和响应报文中的实体部分所使用的首部,用来补充内容的更新时间和实体相关的信息。
  5. 其他:自行扩展的。

2. HTTP编码

HTTP在传输数据时可以按照数据的原貌传输, 也可以在传输过程中编码提升传输速率. 通过在传输时编码, 能有效地处理大量的访问请求. 但是编码是计算机来完成的, 因此会需要消耗更多的CPU等资源.

报文(message):是HTTP通信的基本单位,由8位组字节流组成,通过HTTP通信传输. 实体(entity):作为请求和响应的有效载荷数据(补充项)被传输,其内容由实体首部和实体主体组成. HTTP报文的主体用于传输请求和响应的实体主体. 通常,报文主体等于是实体主体,只有当传输中进行编码操作时,实体主体的内容发生变化,才导致它和报文主体产生差异. 个人理解为实体主体是编码以后的报文主体.

2.1 压缩传输的内容编码

HTTP协议中有一种被称为内容编码的功能可以实现压缩内容的效果,内容编码是在实体内容上的编码格式,并保持实体信息原样压缩,内容编码后的实体由客户端接收并负责解码.

内容编码

内容编码的常见几种方式:

  • gzip (GUN zip)
  • compress (UNIX系统的压缩标准)
  • deflate (zlib)
  • identity (不进行编码)

2.2 分割发送的分块传输编码

分块传输编码是将实体主体分割成多个部分(块), 每一块都会用十六进制来标记块的大小,而实体主体的最后一块会用"0"来标记.客户端负责解码,恢复到编码前的实体主体.

分块传输

3. 发送多种数据格式的多部分对象集合

MIME(Multipurpose Internet Mail Extensions, 多用途因特网邮件扩展)机制, 允许邮件处理文本, 图片, 视频等各个不同类型的数据. 可以发送文本,图片,视屏等不同类型的数据. HTTP协议中也采纳了多部分对象集合,发送的一份报文主体内可以包含多类型实体,通常在图片或文本上传时使用.

多部分对象集合作用
multipart/form-data表单文件上传时使用
multipart/byteranges状态码206(Partial Content, 部分内容)响应报文包含了多个范围的内容时使用

multipart/form-data

在HTTP报文中使用多部分对象集合时, 需要在首部字段中加上Content-type字段, Content-type字段说明了实体主体内对象的媒体类型. 使用boundary字段来划分多部分对象集合指明的各类实体, 在boundary字符串指定的各个实体的起始行之前插入"–“标记做为开始, 在多部分对象集合对应的字符串的最后插入”–“标记做为结束. 如上以”–AbB03x"做为开始, 以"–AbB03x–"做为结束.

4. HTTP状态码

状态码的职责是当客户端想服务器端发送请求时, 描述返回的请求结果. 借助状态码, 用户可以知道服务器端是正常的处理了请求还是出现了错误.

HTTP状态码

4.1 2xx成功

200:OK, 请求成功 204:No Content, 服务端接收的请求已经成功处理,但是返回的响应报文中不包含实体的主体部分, 另外也不允许返回任何实体的主体. 206:Partial Content, 客户端进行了范围请求,而服务器成功执行了这部分的GET请求.

4.2 3xx重定向

3xx的响应表明客户端需要执行某些特殊的处理才能正确请求.

301:Moved Permanently, 永久性重定向, 表示请求的资源已经被分配到了新的URI, 以后请求都是用现在所指的URI. 302:Found, 临时性重定向, 表示请求的资源已被分配到新的URI, 希望用户(本次)能使用新的URI访问.和301状态类似,但是302状态码代表的资源不是被永久移动,只是临时性质的。 303:See Other,该状态码表示由于请求对应的资源存在着另一个URI,应使用GET方法定向获取请求的资源。303状态码和302状态码有着相同的功能,但是303状态码表明客户端应采用GET方法获取资源,这点与302状态码有区别。 304:Not Modified,改状态表示客户端发送附带条件的请求时,服务端允许请求访问资源,但未满足条件的情况。304状态码返回时不包含响应的主体部分。304虽然被划分在3XX,但是与重定向无关。 307:Temporary Redirect,临时重定向,与302有相同的含义,但是307不会将POST改为GET。

4.3 4xx客户端错误

4xx的响应结果表明客户端是发送错误的原因所在.

400:Bad Request, 请求报文中存在语法错误. 401:Unauthorized, 请求需要有通过HTTP认证(BASIC认证,DIGEST认证)的信息. 403:Forbidden, 表明对请求资源的访问被服务器拒绝了. 404:Not Found, 表明服务器上无法找到请求的资源.

4.4 5xx服务器错误

5xx的响应结果表明服务器本身发送错误.

501:Internal Server Error, 表明服务器端在执行请求时发生了错误. 503:Service Unavailable, 表明服务器暂时处在超负荷或者正在进行停机维护,现在无法请求.如果事先得知解除以上状况需要的时间, 最好写入Retry-After首部字段返回给客户端.

5. HTTP首部

HTTP协议的请求和响应报文中必定包含HTTP首部, 我们来看一下HTTP首部的结构以及各字段的用法.

5.1 HTTP首部结构

HTTP报文首部结构

请求报文首部:请求行+请求首部字段+通用首部字段+实体首部字段+其他. 请求行包括方法(GET POST), URI, HTTP版本.

响应报文首部:状态行+响应首部字段+通用首部字段+实体首部字段+其他. 状态行包括HTTP版本, 状态码.

5.2 HTTP首部字段

HTTP首部字段是构成HTTP报文的要素之一, 在客户端和服务端之间以HTTP协议通信的过程中, 首部字段起到传递额外重要信息的作用. 首部字段可以提供报文主体大小, 所使用的语言, 认证信息等内容. HTTP首部字段的结构为首部字段名: 字段值, 指令的参数是可选的, 多个指令之间用","分隔, 例如首部字段’Cache-Control’的指令用于请求以及响应时:

Cache-Control: private, max-age=0, no-cache 

HTTP首部字段分为: 通用首部字段, 请求首部字段, 响应首部字段, 实体首部字段.

5.2.1 通用首部字段表

通用首部字段是请求报文和响应报文都会用到的首部.

5.2.2 请求首部字段

从客户端发送请求到服务端使用的首部.补充了请求的附加内容,客户端信息,响应内容优先级等信息.

5.2.3 响应首部字段

从服务端向客户端返回响应报文时使用的首部.补充了相应的附加内容.

5.2.4 实体首部字段

针对请求报文和响应报文的实体部分使用的首部.

6. 确保安全的HTTPS

HTTP协议中可能存在信息窃听或身份伪装等安全问题, 使用HTTPS通信机制可以有效地防止这些问题.

6.1 HTTP存在的问题

HTTP协议存在一下不足之处:

  1. 通信使用明文, 内容可能被窃听
  2. 不验证通信方的身份, 因此可能遭遇伪装
  3. 无法验证报文的完整性, 所以有可能已遭篡改
6.1.1 通信使用明文, 内容可能被窃听

HTTP本身不具备加密的功能, 无法对通信整体进行加密, HTTP报文使用明文的方式进行传输.

image.png

互联网中都是相通的, 在通信线路上的某些网络设备, 光缆, 计算机都可能遭到恶意窥视, 窃取通信数据, 为了防止信息被恶意窃听, 可以使用加密技术.

通信的加密: 将通信进行加密, HTTP通过和SSL或TLS的组合使用, 加密HTTP的通信, 使用SSL建立安全通信线路之后, 就可以在安全的通信线路上进行通信, 与SSL组合使用的HTTP称为HTTPS.

通信加密

内容的加密: 将通信的内容进行加密, 把HTTP报文里所包含的内容进行加密处理. 这种情况, 客户端需要将HTTP报文进行加密以后再发送请求, 这就要求客户端和服务端具备相同的加密和解密机制.需要注意的是, 经过加密之后的内容还是可以被篡改的. 只对HTTP报文主体进行加密, 不加密报文头部.

6.1.2 不验证通信方的身份, 因此可能遭遇伪装

在HTTP通信时, HTTP协议中的请求和响应不会对通信方进行确认, 任何人都可以发起请求, 服务器接收到请求以后就会返回响应, 这里就存在安全问题, 客户端可能是冒充的客户端, 服务器可能是冒充的服务器. 使用SSL可以解决这个问题, SSL不仅提供加密处理, 还使用了一种被称为证书的手段. 证书是值得信任的第三方机构颁发, 用来证实服务器和客户端的身份, 证书伪造在技术上是异常困难的一件事, 所以只要能够确认通信方持有的证书, 就可以判断通信方的身份.

SSL证书

6.1.3 无法验证报文的完整性, 所以有可能已遭篡改

HTTP协议无法证明通信的报文完整性, 不能保证发送请求以后, 接收到的响应就是对应客户端的响应, 中间可能被拦截篡改.

中间人篡改

6.2 HTTPS

添加了加密和认证机制的HTTP称为HTTPS.

HTTPS

HTTPS并非一种新协议, 只是在HTTP通信接口部分用SSL和TLS协议替换, 通常HTTP直接和TCP通信, 当使用SSL时, HTTP先和SSL通信, SSL再和TCP通信, HTTP就拥有了HTTPS的加密, 证书和完整性保护功能.

6.2.1 SSL中的加密

SSL采用一种叫做公开秘钥加密的加密方式, 加密算法是公开的, 秘钥是保密的. 加密和解密都用到秘钥, 如果秘钥被其他人窃取, 那么加密就无意义了.

加密和解密使用同一个秘钥的方式成为共享密钥加密, 也成为对称密钥加密. 以共享密钥方式加密时必须将密钥发送给对方, 问题来了, 怎么讲共享密钥安全发送给对方呢? 如果共享密钥在发送的过程中被拦截, 那么加密还有什么意义…

为了解决这个问题, 我们来引入公开密钥的概念, 公开密钥加密使用一对非对称的密钥, 一把是私有密钥一把是公开秘钥, 私有密钥只有自己知道, 公开密钥可以任意公开. 客户端和服务端各有一对密钥, 客户端发送请求的时候使用服务端的公开密钥对内容进行加密, 服务端接收到客户端的请求, 使用自己的私有密钥对内容进行解密, 然后使用客户端的公开密钥对响应进行加密, 客户端接收到响应以后使用自己的密钥对响应进行解密.

公开密钥

HTTPS采用共享密钥加密和公开密钥两者并用的混合加密机制, 公开密钥加密相比共享密钥加密, 公开密钥加密的处理速度相对较慢, 所以我们来考虑共享密钥的加密处理, 共享密钥的加密处理的问题在于我们如何将密钥安全的传达给对方. 我们可以考虑使用公开密钥的加密方式将共享密钥作为内容传递给对方, 对方使用自己的密钥将内容解密以获取到共享密钥, 这样共享密钥就被安全传达, 以后的通信就使用共享密钥加密的方式进行通信.

混合加密机制

至此, 还有一个问题需要考虑, 我们在使用公开密钥进行加密时, 如何保证公开密钥的正确性? 比如我们在和某台服务器在公开密钥加密的方式下通信时, 如何确保我们收到的公开密钥就是我们要通信的那台服务器的公开密钥呢? 很可能在公开密钥传输的过程中, 公开密钥已经被篡改了. 为了解决这个问题, 我们要让公开密钥和我们所说的这台服务器最对应, 可以使用由数字证书认证机构(CA, Certificate Authority)和其相关机关颁发的公开密钥证书.

数字证书认证机构是在客户端和服务器都信赖的第三方认证机构的立场上. 服务器的运营认证人员向数字证书认证机构提出公开密钥的申请, 数字证书认证机构在确定申请者的身份后对公开密钥进行签名, 生成数字证书, 或者叫做证书. 然后分配这个已签名的公开密钥. 在通信的时候, 服务器会将这个证书发送给客户端, 客户端接收到这个证书, 使用服务器的公开密钥对证书进行验证, 如果验证通过, 客户端可以确认服务器的公开密钥是值得信赖的, 此处服务器的公开密钥必须安全的转交给客户端, 如何安全的将公开密钥转交是一件很困难的事情, 因此, 很多浏览器开发商发布版本时, 会事先在内部植入常见认证机构的公开密钥, 那么上边我们所说的保证公开密钥正确性的问题就解决了.

数字证书

客户端已经完成了对服务端身份的验证, 那么服务端是否可以对客户端的身份做验证呢? HTTPS中可以使用客户端证书, 使用客户端证书可以对客户端进行认证, 其作用和服务器证书类似. 但是这里存在一个问题, 就是客户端证书的获取以及证书的发布. 由于客户端证书是收费的, 也就是有多少用户就要购买多少客户端证书, 这个在大天朝来说是不太现实的. 而且购买完证书以后, 客户端需要手动安装, 这个对不同的用户来说也是不太容易实现的. 但是对于一些安全性要求很高的业务来说, 客户端认证还是有必要的, 比如银行的网上银行就采用了客户端证书.

6.2.2 HTTPS通信过程

HTTPS通信

这部分的内容理解以后再整理

接下来我将给各位同学划分一张学习计划表!

学习计划

那么问题又来了,作为萌新小白,我应该先学什么,再学什么?
既然你都问的这么直白了,我就告诉你,零基础应该从什么开始学起:

阶段一:初级网络安全工程师

接下来我将给大家安排一个为期1个月的网络安全初级计划,当你学完后,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web渗透、安全服务、安全分析等岗位;其中,如果你等保模块学的好,还可以从事等保工程师。

综合薪资区间6k~15k

1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)

2、渗透测试基础(1周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础(1周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)

4、计算机网络基础(1周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)

那么,到此为止,已经耗时1个月左右。你已经成功成为了一名“脚本小子”。那么你还想接着往下探索吗?

阶段二:中级or高级网络安全工程师(看自己能力)

综合薪资区间15k~30k

7、脚本编程学习(4周)
在网络安全领域。是否具备编程能力是“脚本小子”和真正网络安全工程师的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力。

零基础入门的同学,我建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习
搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP,IDE强烈推荐Sublime;

Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,没必要看完

用Python编写漏洞的exp,然后写一个简单的网络爬虫

PHP基本语法学习并书写一个简单的博客系统

熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选)

了解Bootstrap的布局或者CSS。

阶段三:顶级网络安全工程师

如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

学习资料分享

当然,只给予计划不给予学习资料的行为无异于耍流氓,这里给大家整理了一份【282G】的网络安全工程师从入门到精通的学习资料包,可点击下方二维码链接领取哦。

络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

学习资料分享

当然,只给予计划不给予学习资料的行为无异于耍流氓,这里给大家整理了一份【282G】的网络安全工程师从入门到精通的学习资料包,可点击下方二维码链接领取哦。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值