一、HttpClient简介与HTTP简介

最新推荐文章于 2024-08-06 17:13:24 发布

_404_NOT_FOUND_

最新推荐文章于 2024-08-06 17:13:24 发布

阅读量1k

点赞数

分类专栏：爬虫专栏文章标签： java 爬虫

本文链接：https://blog.csdn.net/bigbighenry/article/details/81117851

版权

爬虫专栏专栏收录该内容

10 篇文章 0 订阅

订阅专栏

1.HttpClient 简介

超文本传输协议（HTTP）也许是当今互联网上所使用的最重要的协议了。

Web services，联网设备和网络计算的发展，都持续

扩展了HTTP协议的角色，超越了用户使用的Web浏览器范畴，

同时，也增加了需要HTTP协议支持的应用程序的数量。

尽管java.net包提供了通过HTTP访问资源的基本功能，但它缺少足够的灵活性和其它很多应用程序需要的功能。

HttpClient通过提供一个有效的，保持更新的，功能丰富的软件包来实现客户端最新的HTTP标准和建议，

来弥补java.net包的在某些技术上的空白。

HttpClient为扩展而设计，同时为基本的HTTP协议提供强大的支持。有一些人会对HttpClient感兴趣，

这些人通常是构建 HTTP 客户端应用程序（比如web浏览器，web服务客户端，利用或扩展 HTTP 协议

进行来实现的分布式通信系统）的开发人员。

1.1 HttpClient 的范围

基于HttpCore[http://hc.apache.org/httpcomponents-core/index.html]的客户端HTTP通信库
基于经典 I/O（阻塞I/O）
内容无关

1.2 HttpClient 所不能做的

HttpClient 不是一个浏览器。它是一个客户端的 HTTP 通信实现库。HttpClient 的目标是发送和接收HTTP 报文。

HttpClient 不会去处理内容，执行嵌入在 HTML页面中的javascript 代码，猜测内容类型，如果没有明确设置，

否则不会重新格式化请求/重定向URI，或其它和HTTP通信无关的功能。

2. HTTP协议简介

在使用HttpClient之前，你需要简单了解下HTTP协议及其基本概念：

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网

（WWW，World Wide Web ）

服务器传输超文本到本地浏览器的传送协议。

HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。

它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。

HTTP协议工作于客户端-服务端架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器

发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。

2.1 HTTP请求

客户端发送一个HTTP请求到服务器的请求消息包括以下格式：

请求行（request line）、请求头部（header）、空行和请求数据四个部分组成。

Get请求例子：

GET /562f25980001b1b106000338.jpg HTTP/1.1
Host    img.mukewang.com
User-Agent    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
Accept    image/webp,image/*,*/*;q=0.8
Referer    http://www.imooc.com/
Accept-Encoding    gzip, deflate, sdch
Accept-Language    zh-CN,zh;q=0.8

第一部分：请求行，用来说明请求类型,要访问的资源以及所使用的HTTP版本.
第二部分：请求头部，紧接着请求行（即第一行）之后的部分，用来说明服务器要使用的附加信息
HOST将指出请求的目的地.
User-Agent,服务器端和客户端脚本都能访问它,它是浏览器类型检测逻辑的重要基础.该信息由你的浏览器来定义,。
第三部分：空行，请求头部后面的空行是必须的
即使第四部分的请求数据为空，也必须有空行。
第四部分：请求数据也叫主体，可以添加任意的其他数据。
这个例子的请求数据为空。

POST请求例子：

POST / HTTP1.1
Host:www.wrox.com
User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727
Content-Type:application/x-www-form-urlencoded
Content-Length:40
Connection: Keep-Alive
name=Professional%20Ajax&publisher=Wiley

第一部分：请求行，第一行明了是post请求，以及http1.1版本。
第二部分：请求头部，第二行至第六行。
第三部分：空行，第七行的空行。
第四部分：请求数据，第八行。

2.2 HTTP之响应消息Response

一般情况下，服务器接收并处理客户端发过来的请求后会返回一个HTTP的响应消息。

HTTP响应也由四个部分组成，分别是：状态行、消息报头、空行和响应正文。

例子

HTTP/1.1 200 OK
Date: Fri, 22 May 2009 06:07:21 GMT
Content-Type: text/html; charset=UTF-8

<html>
      <head></head>
      <body>
            <!--body goes here-->
      </body>
</html>

第一部分：状态行，由HTTP协议版本号，状态码，状态消息三部分组成。
第一行为状态行，（HTTP/1.1）表明HTTP版本为1.1版本，状态码为200，状态消息为（ok）
第二部分：消息报头，用来说明客户端要使用的一些附加信息
第二行和第三行为消息报头，Date:生成响应的日期和时间；Content-Type:指定了MIME类型的HTML(text/html),编码类型是UTF-8
第三部分：空行，消息报头后面的空行是必须的
第四部分：响应正文，服务器返回给客户端的文本信息。
空行后面的html部分为响应正文。

2.3 HTTP之状态码

状态代码有三位数字组成，第一个数字定义了响应的类别，共分五种类别: