HTTP请求与响应以及CURL命令

一.HTTP请求消息

客户端发送一个HTTP请求到服务器的请求消息包括以下四个部分：

第一部分：请求行，用来说明请求类型，要访问的资源以及所使用的HTTP版本号。

例如：

GET /101.jpg HTTP/1.1

常用的请求命令有：GET、POST、HEAD、PUT、DELETE、TRACE、OPTION、CONNECT。

1. GET方法
   GET方法用来向服务器请求指定的资源，它是万维网中信息检索的主要方式。当服务器收到一个GET请求后，它会将所请求的资源内容放到响应体中，客户端收到GET响应后，根据头域中的一些信息，对响应体进行解析，从而得到所需要的资源。

2. HEAD方法
   HEAD方法用来请求资源的相关属性，而非资源本身，HEAD方法的响应消息中没有响应体。对HEAD请求，服务器需要保证对同一个URI，HEAD请求的响应内容和GET请求的响应内容去掉响应体后完全相同。HEAD方法用来请求资源的相关属性，而非资源本身，HEAD方法的响应消息中没有响应体。对HEAD请求，服务器需要保证对同一个URI，HEAD请求的响应内容和GET请求的响应内容去掉响应体后完全相同。
   在协议文档中没有对GET和HEAD请求中请求体的语义作出定义，为GET和HEAD请求添加请求体是允许的，但由于语义上未定义，所以服务器实现时有可能会直接将其丢弃，或拒绝连接，这取决于服务端的实现和配置。参见文章HTTP GET with request body。
   GET和HEAD请求都是可缓存的，对GET请求的缓存可以在随后的GET和HEAD请求中使用，而对HEAD请求的缓存则只能在随后的HEAD请求中使用。此外，如果已有GET请求的缓存，但缓存已过期，或强制指定HEAD请求不使用缓存，则收到的HEAD请求的响应消息可能会被用来验证或更新之前的GET请求的缓存。

3. POST方法
   POST方法用于将请求报文中的消息体messagePOST方法用于将请求报文中的消息体message
   body提交给服务器，请求目标资源对消息体内容进行相应处理，这通常会导致服务器上的状态发生变化。

   常见的POST方法的使用场景有：
   1.提供一块数据，例如一组HTML表单数据，供服务器处理。
   2.在BBS，blog，新闻组等网络系统中发布文章或信息。
   3.在服务器上创建新的资源对象。向已有的资源中添加新的数据。

   一般来说POST方法的响应消息是不被UA缓存的，除非服务器在响应消息中明确指定有效期（Freshness Lifetime）信息（表示服务器明确希望这条响应消息被UA缓存），但即使在响应消息中附带了有效期，也不能保证一定会被客户端缓存，因为POST缓存并未普遍实现。

4. PUT方法
   PUT方法用于将请求报文中的消息体message用于将请求报文中的消息体message
   body提交给服务器，请求服务器创建一个新的目标资源，或者替换原先的目标资源。当一个PUT请求被成功执行后，意味着使用同样的请求URI执行GET请求，在响应消息体中会得到和原先PUT请求中消息体的等价表示。但是，不能保证这种状态变化是可观察的，因为在接收到任何后续GET之前，目标资源可能已经会被其他UA执行的请求所修改，或者之前PUT请求所需要的修改正在被服务器处理但还没有完成，因为UA收到PUT方法的成功响应仅仅表示本次请求的意图已经被服务器接受，但并不代表服务器已经完成了资源创建或替换的工作。

5. DELETE方法
   DELETE方法用来请求源服务器删除目标资源与其当前功能之间的联系。

6. PATH方法
   PATCH方法用于对资源进行部分修改。由于PATCH不是标准的HTTP方法，所以不能保证客户端和服务端都已经实现。例如，在JDK中HttpURLConnection类就不支持将请求方法设置为PATCH。

第二部分：请求头部，紧接着请求行（即第一行）之后的部分，用来说明服务器要使用的附加信息

从第二行起为请求头部，HOST将指出请求的目的地.User-Agent,服务器端和客户端脚本都能访问它,它是浏览器类型检测逻辑的重要基础.该信息由你的浏览器来定义,并且在每个请求中自动发送等等
例如：

Host: blog.csdn.net
Connection: keep-alive
Cache-Control: max-age=0

第三部分：空行

空行用来区分第二部分和第四部分，即使第四部分无内容，第三部分也必须空行。

第四部分：请求数据

服务器返回给客户端的文本信息。

二.HTTP之响应消息

一般情况下，服务器接收并处理客户端发过来的请求后会返回一个HTTP的响应消息。HTTP响应也由四个部分组成，分别是：状态行、消息报头、空行和响应正文。

第一部分：状态行。由HTTP协议版本号， 状态码， 状态消息 三部分组成。

例如:

HTTP/1.1 200 OK

（HTTP/1.1）表明HTTP版本为1.1版本，状态码为200，状态消息为（ok）

常见的状态码有：

1. 1XX开头
   1xx(临时响应)表示临时响应并需要请求者继续执行操作的状态代码。代码 说明
   100 (继续 ) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。
   101 (切换协议) 请求者已要求服务器切换协议，服务器已确认并准备切换。
2. 2XX开头
   2xx (成功)表示成功处理了请求的状态代码。代码 说明
   200 (成功) 服务器已成功处理了请求。 通常，这表示服务器提供了请求的网页。
   201 (已创建) 请求成功并且服务器创建了新的资源。
   202 (已接受) 服务器已接受请求，但尚未处理。
   203 (非授权信息) 服务器已成功处理了请求，但返回的信息可能来自另一来源。
   204 (无内容) 服务器成功处理了请求，但没有返回任何内容。
   205 (重置内容) 服务器成功处理了请求，但没有返回任何内容。
   206 (部分内容) 服务器成功处理了部分 GET 请求。
3. 3XX开头
   3xx (重定向) 表示要完成请求，需要进一步操作。 通常，这些状态代码用来重定向。代码 说明
   300 (多种选择) 针对请求，服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作，或提供操作列表供请求者选择。
   301 (永久移动) 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时，会自动将请求者转到新位置。
   302 (临时移动) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
   303 (查看其他位置) 请求者应当对不同的位置使用单独的 GET 请求来检索响应时，服务器返回此代码。
   304 (未修改) 自从上次请求后，请求的网页未修改过。 服务器返回此响应时，不会返回网页内容。
   305 (使用代理) 请求者只能使用代理访问请求的网页。 如果服务器返回此响应，还表示请求者应使用代理。
   307 (临时重定向) 服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求。
4. 4XX开头
   4xx(请求错误) 这些状态代码表示请求可能出错，妨碍了服务器的处理。代码 说明
   400 (错误请求) 服务器不理解请求的语法。
   401 (未授权) 请求要求身份验证。 对于需要登录的网页，服务器可能返回此响应。
   403 (禁止) 服务器拒绝请求。
   404 (未找到) 服务器找不到请求的网页。
   405 (方法禁用) 禁用请求中指定的方法。
   406 (不接受) 无法使用请求的内容特性响应请求的网页。
   407 (需要代理授权) 此状态代码与 401(未授权)类似，但指定请求者应当授权使用代理。
   408 (请求超时) 服务器等候请求时发生超时。
   409 (冲突) 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
   410 (已删除) 如果请求的资源已永久删除，服务器就会返回此响应。
   411 (需要有效长度) 服务器不接受不含有效内容长度标头字段的请求。
   412 (未满足前提条件) 服务器未满足请求者在请求中设置的其中一个前提条件。
   413 (请求实体过大) 服务器无法处理请求，因为请求实体过大，超出服务器的处理能力。
   414 (请求的 URI 过长) 请求的 URI(通常为网址)过长，服务器无法处理。
   415 (不支持的媒体类型) 请求的格式不受请求页面的支持。
   416 (请求范围不符合要求) 如果页面无法提供请求的范围，则服务器会返回此状态代码。
   417 (未满足期望值) 服务器未满足"期望"请求标头字段的要求。
5. 5XX开头
   5xx(服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误，而不是请求出错。代码 说明
   500 (服务器内部错误) 服务器遇到错误，无法完成请求。
   501 (尚未实施) 服务器不具备完成请求的功能。 例如，服务器无法识别请求方法时可能会返回此代码。
   502 (错误网关) 服务器作为网关或代理，从上游服务器收到无效响应。
   503 (服务不可用) 服务器目前无法使用(由于超载或停机维护)。 通常，这只是暂时状态。
   504 (网关超时) 服务器作为网关或代理，但是没有及时从上游服务器收到请求。
   505 (HTTP 版本不受支持) 服务器不支持请求中所用的 HTTP 协议版本。

第二部分：消息报头，用来说明客户端要使用的一些附加信息

例如：

Date: Fri, 22 May 2009 06:07:21 GMT
Content-Type: text/html; charset=UTF-8

第三部分：空行

第四部分：相应正文，服务器返回给客户端的文本信息

例如：

三、CURL命令

curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具。

1. 基本用法

# curl http://www.linux.com

执行后，百度的html就会显示在屏幕上了

2. 保存访问的网页

$ curl -o linux.html http://www.baidu.com

3. 测试网页返回值

# curl -o /dev/null -s -w %{http_code} www.baidu.com

常见参数：

-A/–user-agent 设置用户代理发送给服务器
-b/–cookie <name=string/file> cookie字符串或文件读取位置
-c/–cookie-jar 操作结束后把cookie写入到这个文件中
-C/–continue-at 断点续转
-D/–dump-header 把header信息写入到该文件中
-e/–referer 来源网址
-f/–fail 连接失败时不显示http错误
-o/–output 把输出写到该文件中
-O/–remote-name 把输出写到该文件中，保留远程文件的文件名
-r/–range 检索来自HTTP/1.1或FTP服务器字节范围
-s/–silent 静音模式。不输出任何东西
-T/–upload-file 上传文件
-u/–user <user[:password]> 设置服务器的用户和密码
-w/–write-out [format] 什么输出完成后
-x/–proxy <host[:port]> 在给定的端口上使用HTTP代理
-#/–progress-bar 进度条显示当前的传送状态