http协议学习总结

一：基础介绍：

      1） http:超文本传输协议，用于从www服务器传输超文本到本地浏览器的传送协议。

       http是一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。

       http是一个无状态的协议;

      2）http协议通常承载与TCP协议之上，有时也承载于TLS或SSL之上，这个时候就成了我们常说的https. 

      SSL/TLS的工作原理

      基本概念

      SSL(Secure Socket Layer)是netscape公司设计的主要用于web的安全传输协议。这种协议在WEB上获得了广泛的应用。

      IETF(www.ietf.org)将SSL作了标准化，即RFC2246,并将其称为TLS（Transport Layer Security），从技术上讲，TLS1.0与SSL3.0的差别非常微小。

      基本原理：先非对称加密传递对称加密所要用的钥匙，然后双方用该钥匙对称加密和解米往来的数据。

      默认http的端口号是30,https端口号是443;

      3)http请求响应模型，永远是客户端发起请求，服务器响应;所以是无状态的;

      4)工作流程：

           1.：客户机与服务器建立链接;

           2.客户机发送请求url;

           3.服务器对于请求作出响应;

           4.客户机将响应信息通过浏览器显示;

    5)http的几个重要概念：

          1.链接：connection

           在request和reponse头部中都有可能出现一个connection的头，默认是长链接，若双方不想支持长链接，则可以将connection的值设为close;

          2.消息:Message

           HTTP通信的基本单位，包括一个结构化的八元组序列;

         3.请求：Request

          客户端向服务器发送

          4.响应：Response

          服务器返回给客户端的信息

         5.实体：Entity

          数据资源或来自服务器资源的特殊表示方法，它可能被包围在一个请求或响应信息中。一个实体包含实体头和实体内容

         6.资源:Resource

          由 URL标识的网络数据对象或服务

        7.客户机：Client

          一个为发送客户请求的应用程序;

        8.用户代理：UserAgent

        初始化一个请求客户机。他们是浏览器，编辑器或其他工具;

        9.服务器:Server

        一个接受请求，并返回相应数据的应用程序;

        10.源服务器：Originserver

        是一个给定资源可以在其上驻留或被创建的服务器;

        11.代理:Proxy

        一个中间程序，可以充当一个服务器，或者是一个客户机，为其他客户建立请求.请求是通过可能的翻译在内部或经过传递到其他服务器中。一个代理请求在发送之前，必须必须解释并且可能重写它.代理服务器通常作为防火墙的客户家客户端的门户，代理还可以作为一个帮助应用来通过协议处理没有被用户代理完成的请求。

        12.网关：GateWay

        一个作为其他服务器中间媒介的服务器。与代理不同的是，网关接受请求就好像对被请求的资源来说它就是源服务器;发出请求的客户机没有意识到它在同网关打交道;网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存储在非HTTP系统中的资源;

        13.通道：Tunnel

        作为两个连接中继的中继程序，一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继的连接两端关闭时，通道便消失。当一个门户必须存在或中介不能解释中继的通讯时通道被经常使用。

         14.缓存：Cache

          反应信息的局域存储;

二. HTTP请求：

      由三部分组成：请求行.消息报头.请求正文.

      请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：Method Request-URI HTTP-Version CRLF 

       请求方法（所有方法全为大写）有多种，各个方法的解释如下：

       GET     请求获取Request-URI所标识的资源

       POST    在Request-URI所标识的资源后附加新的数据

       HEAD    请求获取由Request-URI所标识的资源的响应消息报头

       PUT     请求服务器存储一个资源，并用Request-URI作为其标识

       DELETE  请求服务器删除Request-URI所标识的资源

       TRACE   请求服务器回送收到的请求信息，主要用于测试或诊断

       OPTIONS 请求查询服务器的性能，或者查询与资源相关的选项和需求

       CONNECT 保留将来使用

       GET与POST的区别:

       1.在客户端,Get方式在通过URL提交的数据可以看到,POST则看不到;

       2.Get方式提交数据最多是1024字节,POST则没有限制;

       3.安全性问题:如果请求中包含中文或者非敏感数据,则优先使用GET,相反则优先使用POST;

       4.GET请求不会改变服务器上的数据,POST则会修改;

        消息报头：

            host:指定请求的服务器的域名和端口号;   eg:Host: www.zcmhi.com

            Referer:请求URL自己的地址，如果请求URL没有自己的地址，则Referer不能被发送;  eg:Referer: http://www.zcmhi.com/archives/71.html

            Uesr-Agent:发出请求的用户信息，包括操作系统等，可以用来判断设备及操作系统;  eg:User-Agent: Mozilla/5.0 (Linux; X11)

            Cookie:HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。eg:Cookie: $Version=1; Skin=new

           Cache-Control:指定请求和响应遵循的缓存机制  eg:Cache-Control: no-cache

           Date:请求发送的日期和时间;   eg:Date: Tue, 15 Nov 2010 08:12:31 GMT

          eg:

           GET /form.html HTTP/1.1 (CRLF)
           Accept:image/gif,image/x-xbitmap,image/jpeg,application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword,*/* (CRLF)
           Accept-Language:zh-cn (CRLF)
           Accept-Encoding:gzip,deflate (CRLF)
           If-Modified-Since:Wed,05 Jan 2007 11:21:25 GMT (CRLF)
           If-None-Match:W/"80b1a4c018f3c41:8317" (CRLF)
           User-Agent:Mozilla/4.0(compatible;MSIE6.0;Windows NT 5.0) (CRLF)
           Host:www.guet.edu.cn (CRLF)
           Connection:Keep-Alive (CRLF)

三.HTTP响应:

        HTTP响应由三部分组成:状态行,消息报头,响应正文;

        1.状态行格式如下:

         HTTP-Version Status-Code Reason-Phrase CRLF

         HTTP-Version表示服务器HTTP协议的版本；

         Status-Code表示服务器发回的响应状态代码；

         Reason-Phrase表示状态代码的文本描述。

        状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值：

         1xx：指示信息--表示请求已接收，继续处理;

         2xx：成功--表示请求已被成功接收、理解、接受

        3xx：重定向--要完成请求必须进行更进一步的操作

        4xx：客户端错误--请求有语法错误或请求无法实现

        5xx：服务器端错误--服务器未能实现合法的请求

        常见状态代码、状态描述、说明：

        200 OK      //客户端请求成功

        400 Bad Request  //客户端请求有语法错误，不能被服务器所理解

        401 Unauthorized //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用

        403 Forbidden  //服务器收到请求，但是拒绝提供服务

        404 Not Found  //请求资源不存在，eg：输入了错误的URL

        500 Internal Server Error //服务器发生不可预期的错误

        503 Server Unavailable  //服务器当前不能处理客户端的请求，一段时间后可能恢复正常

四.HTTP协议详解之消息报头篇:

       HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。

       每一个报头域都是由名字+“：”+空格+值 组成，消息报头域的名字是大小写无关的。

      1、普通报头
        在普通报头中，有少数报头域用于所有的请求和响应消息，但并不用于被传输的实体，只用于传输的消息。

       Cache-Control   用于指定缓存指令，缓存指令是单向的（响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制），HTTP1.0使用的类似的报头域为Pragma。
       请求时的缓存指令包括：no-cache（用于指示请求或响应消息不能缓存）、no-store、max-age、max-stale、min-fresh、only-if-cached;
       响应时的缓存指令包括：public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age、s-maxage.

      eg：为了指示IE浏览器（客户端）不要缓存页面，服务器端的JSP程序可以编写如下：response.sehHeader("Cache-Control","no-cache");
      //response.setHeader("Pragma","no-cache");作用相当于上述代码，通常两者//合用
     这句代码将在发送的响应消息中设置普通报头域：Cache-Control:no-cache

     Date普通报头域表示消息产生的日期和时间

     Connection普通报头域允许发送指定连接的选项。例如指定连接是连续，或者指定“close”选项，通知服务器，在响应完成后，关闭连接

     2、请求报头
     请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。

     常用的请求报头
     Accept
     Accept请求报头域用于指定客户端接受哪些类型的信息。eg：Accept：image/gif，表明客户端希望接受GIF图象格式的资源；Accept：text/html，表明客户端希望接受html文本。

    Accept-Charset

    Accept-Charset请求报头域用于指定客户端接受的字符集。eg：Accept-Charset:iso-8859-1,gb2312.如果在请求消息中没有设置这个域，缺省是任何字符集都可以接受。

   Accept-Encoding

   Accept-Encoding请求报头域类似于Accept，但是它是用于指定可接受的内容编码。eg：Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。

   Accept-Language

   Accept-Language请求报头域类似于Accept，但是它是用于指定一种自然语言。eg：Accept-Language:zh-cn.如果请求消息中没有设置这个报头域，服务器假定客户端对各种语言都可以接受。

    Authorization
    Authorization请求报头域主要用于证明客户端有权查看某个资源。当浏览器访问一个页面时，如果收到服务器的响应代码为401（未授权），可以发送一个包含Authorization请求报头域的请求，要求服务器对其进行验证。

    Host（发送请求时，该报头域是必需的）

    Host请求报头域主要用于指定被请求资源的Internet主机和端口号，它通常从HTTP URL中提取出来的，eg：我们在浏览器中输入：http://www.guet.edu.cn/index.html
    浏览器发送的请求消息中，就会包含Host请求报头域，如下：
    Host：www.guet.edu.cn
   此处使用缺省端口号80，若指定了端口号，则变成：Host：www.guet.edu.cn:指定端口号 ;

   User-Agent
   我们上网登陆论坛的时候，往往会看到一些欢迎信息，其中列出了你的操作系统的名称和版本，你所使用的浏览器的名称和版本，这往往让很多人感到很神奇，实际上，服务器应用程序就是从User-Agent这个请求报头域中获取到这些信息。User-Agent请求报头域允许客户端将它的操作系统、浏览器和其它属性告诉服务器。不过，这个报头域不是必需的，如果我们自己编写一个浏览器，不使用User-Agent请求报头域，那么服务器端就无法得知我们的信息了。

   Referer:获取请求页面当前的url;

   3、响应报头
    响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

   常用的响应报头
  Location
  Location响应报头域用于重定向接受者到一个新的位置。Location响应报头域常用在更换域名的时候。
  Server
  Server响应报头域包含了服务器用来处理请求的软件信息。与User-Agent请求报头域是相对应的。下面是
  Server响应报头域的一个例子：
  Server：Apache-Coyote/1.1
  WWW-Authenticate
  WWW-Authenticate响应报头域必须被包含在401（未授权的）响应消息中，客户端收到401响应消息时候，并发送Authorization报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。
  eg：WWW-Authenticate:Basic realm="Basic Auth Test!"  //可以看出服务器对请求资源采用的是基本验证机制。 

  4、实体报头

  请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成，但并不是说实体报头域和实体正文要在一起发送，可以只发送实体报头域。实体报头定义了关于实体正文（eg：有无实体正文）和请求所标识的资源的元信息。

  常用的实体报头
  Content-Encoding
  Content-Encoding实体报头域被用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的附加内容的编码，因而要获得Content-Type报头域中所引用的媒体类型，必须采用相应的解码机制。Content-Encoding这样用于记录文档的压缩方法，eg：Content-Encoding：gzip
  Content-Language
  Content-Language实体报头域描述了资源所用的自然语言。没有设置该域则认为实体内容将提供给所有的语言阅读者。eg：Content-Language:da
  Content-Length
  Content-Length实体报头域用于指明实体正文的长度，以字节方式存储的十进制数字来表示。
  Content-Type
  Content-Type实体报头域用语指明发送给接收者的实体正文的媒体类型。eg：
  Content-Type:text/html;charset=ISO-8859-1
  Content-Type:text/html;charset=GB2312
  Last-Modified
  Last-Modified实体报头域用于指示资源的最后修改日期和时间。
  Expires
  Expires实体报头域给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新缓存中(再次访问曾访问过的页面时，直接从缓存中加载，缩短响应时间和降低服务器负载)的页面，我们可以使用Expires实体报头域指定页面过期的时间。eg：Expires：Thu，15 Sep 2006 16:23:12 GMT
HTTP1.1的客户端和缓存必须将其他非法的日期格式（包括0）看作已经过期。eg：为了让浏览器不要缓存页面，我们也可以利用Expires实体报头域，设置为0，jsp中程序如下：response.setDateHeader("Expires","0");

五、HTTP协议相关技术补充

1、基础：
      高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等
     中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)，一个代理根据URI的绝对格式来接受请求，重写全部或部分消息，通过 URI的标识把已格式化过的请求发送到服务器。网关是一个接收代理，作为一些其它服务器的上层，并且如果必须的话，可以把请求翻译给下层的服务器协议。一 个通道作为不改变消息的两个连接之间的中继点。当通讯需要通过一个中介(例如：防火墙等)或者是中介不能识别消息的内容时，通道经常被使用。
     代理(Proxy)：一个中间程序，它可以充当一个服务器，也可以充当一个客户机，为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的 服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。代理经常作为通过防火墙的客户机端的门户，代理还可以作为一个帮助应用来通过协议处 理没有被用户代理完成的请求。
    网关(Gateway)：一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。
    网关经常作为通过防火墙的服务器端的门户，网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。
    通道(Tunnel)：是作为两个连接中继的中介程序。一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继 的连接两端关闭时，通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。

2、协议分析的优势—HTTP分析器检测网络攻击
以模块化的方式对高层协议进行分析处理，将是未来入侵检测的方向。
HTTP及其代理的常用端口80、3128和8080在network部分用port标签进行了规定

3、HTTP协议Content Lenth限制漏洞导致拒绝服务攻击
      使用POST方法时，可以设置ContentLenth来定义需要传送的数据长度，例如ContentLenth:999999999，在传送完成前，内 存不会释放，攻击者可以利用这个缺陷，连续向WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。

4、利用HTTP协议的特性进行拒绝服务攻击的一些构思
      服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求（毕竟客户端的正常请求比率非常之小），此时从正常客户的角度看来，服务器失去响应，这种情况我们称作：服务器端受到了SYNFlood攻击（SYN洪水攻击）。
而Smurf、TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。
19端口在早期已经有人用来做Chargen攻击了，即Chargen_Denial_of_Service，但是！他们用的方法是在两台Chargen 服务器之间产生UDP连接，让服务器处理过多信息而DOWN掉，那么，干掉一台WEB服务器的条件就必须有2个：1.有Chargen服务2.有HTTP 服务
方法：攻击者伪造源IP给N台Chargen发送连接请求（Connect），Chargen接收到连接后就会返回每秒72字节的字符流（实际上根据网络实际情况，这个速度更快）给服务器。

5、Http指纹识别技术
   Http指纹识别的原理大致上也是相同的：记录不同服务器对Http协议执行中的微小差别进行识别.Http指纹识别比TCP/IP堆栈指纹识别复杂许 多,理由是定制Http服务器的配置文件、增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难；然而定制TCP/IP堆栈的行为 需要对核心层进行修改,所以就容易识别.
      要让服务器返回不同的Banner信息的设置是很简单的,象Apache这样的开放源代码的Http服务器,用户可以在源代码里修改Banner信息,然 后重起Http服务就生效了；对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修 改,相关的文章有讨论的,这里不再赘述,当然这样的修改的效果还是不错的.另外一种模糊Banner信息的方法是使用插件。
常用测试请求：
1：HEAD/Http/1.0发送基本的Http请求
2：DELETE/Http/1.0发送那些不被允许的请求,比如Delete请求
3：GET/Http/3.0发送一个非法版本的Http协议请求
4：GET/JUNK/1.0发送一个不正确规格的Http协议请求
Http指纹识别工具Httprint,它通过运用统计学原理,组合模糊的逻辑学技术,能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。

6、其他：为了提高用户使用浏览器时的性能，现代浏览器还支持并发的访问方式，浏览一个网页时同时建立多个连接，以迅速获得一个网页上的多个图标，这样能更快速完成整个网页的传输。
HTTP1.1中提供了这种持续连接的方式，而下一代HTTP协议：HTTP-NG更增加了有关会话控制、丰富的内容协商等方式的支持，来提供
更高效率的连接。

六:Cookie和Session

     Cookie 和Session都为了用来保存状态信息,都是保护客户端状态的机制;其目的是为了解决HTTP无状态的问题;

     Session可以用Cookie来实现,也可以用URL回写机制来实现.

     两者的区别:

            1)Cookie将状态保存在客户端,Session将状态保存在服务器端;

            2)Cookies是服务器在本地机器上存储的一小段文本并将其随每一个请求发送到同一个服务器;Session并没有在http协议中定义;

            3)Session是针对每一个用户的,变量保存在服务器上;

            4)Session比Cookies更安全;

    服务器在响应消息中用set-cookies将内容返回给客户端,客户端在请求中将相同的Cookies内容发送给服务器,从而实现会话的保持;

    Tomcat对Session的实现,是一开始使用Cookie和URL回写机制,如果发现客户端支持Cookie,就继续使用cookie,停止URL回写,如果发现Cookie被禁用,则一直使用URL回写;

七:web缓存机制

    1)什么是web缓存?

       web缓存(cache)位于web服务器和客户端之间,缓存会根据请求保存输出内容的副本,当下一个同样的请求来时,直接使用副本作为请求的响应,而不是向源服务器再次发出请求;

    2)缓存的优点:

          减少相应的延迟;减少网络带宽消耗;

    3)与缓存相关的http扩展消息头:

          Expires :指示响应内容过期的时间;

          Cache-Control:更细致的控制缓存的内容;

          Last-Modified: 响应中资源最后一次修改的时间;

          Etag:响应中资源的校验值;服务器上某个时段的唯一标识;

          Date:服务器的时间;

          If-Modified-Since:客户端存取该资源最后一次修改时间,同Last-Modified;

          If-None-Match: 客户端存取该资源的校验值;同Etag

     4)客户端缓存生效流程:

          1:服务器收到请求时,会回送该资源的Last-Modified和Etag头,客户端将其保存在cache中,

           2.当客户端再次发送相同的请求时,会在请求中携带If-Modified-Since和If-None-Match,这两个值分别是上次返回的Last-Modified和Etag的值;

          3.服务器通过这个两个头判断本地资源未发生变化,则不需要重新下载,返回304响应;

    web缓存的目的是为了在很多情况下减少发送请求,同时在许多情况下可以不用发送完整响应;

八:http代理服务器:

    主要功能代理网络用户去获取网络信息;是一台介于浏览器和web服务器之间的一台服务器,

     大部分代理服务器有一个很大的Cache,可以将新的数据存储到本机上,方便客户访问;

    代理服务器几大功能:

     1):突破自身IP访问权限;

     2):访问一些单位或团体内部资源;

      3):突破中国电信的IP封锁;

      4):提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区,当有外界的信息通过时,同时也将其保存到缓冲区,当其他用户也访问相同的资源时,则直接由缓冲区取出信息;

      5)隐藏真实IP;通过代理服务器,隐藏自己的IP,可以免受攻击;