网络爬虫的本质与HTTP状态码

使用HTTP GET协议获取数据，使用HTTP POST协议提交数据。

客户端向服务器发送一个请求，请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。
服务器以一个状态行作为响应，响应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内容。
通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行，一个或者多个头域，一个指示头域结束的空行和可选的消息体组成。
在HTTP 请求执行的过程中，HttpClient 添加了下列和状态管理相关的的对象到执行上下文中：
• http.cookiespec-registry :CookieSpecRegistry 实例代表了实际的cookie 规范注册表。 这个属性的值设置在本地内容中，优先于默认的。
• http.cookie-spec :Cookiespec 实例代表了真实的cookie 规范。
• http.cookie-origin : CookieOrigin 实例代表了真实的服务源服务器的详细信息。
• http.cookie-store ： CookieStore 实例代表了真实的cookie 存储。设置在本地内容中的这个属性的值优先于默认的。
　　本地 HttpContext 对象可以被用来定制HTTP 状态管理内容，先于请求执行或在请求执行之后检查它的状态：
HttpClient httpclient=new DefaultHttpClient();
HttpContext localContext = new BasicHttpContext();
HttpGet httpget = new HttpGet(“http://localhost:8080/”);
HttpResponse reponse = httpclient.exectute(httpget,localContext);
CookieOrigin cookieOrigin = (CookieOrigin)localContext.getAttribut(ClientContext.COOKIE_ORIGIN);
System.out.println(“Cookie oriin: “+cooki