1、java网页抓取技术

1.apache  HttpClient

        HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性，它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。

       HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。

使用方法
使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。
1. 创建HttpClient对象。
2. 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。
3. 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。
4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。
5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。
6. 释放连接。无论执行方法是否成功，都必须释放连接

package org.nick.util;
import java.io.InputStream;
import java.util.Scanner;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;
public class HttpClientTest {  
	public static void main(String[] args) {  
        //创建默认的 HttpClient 实例  
        HttpClient httpClient = new DefaultHttpClient();  
  
        try {  
            //创建 httpUriRequest 实例  
            HttpGet httpGet = new HttpGet("http://www.baidu.com");  
  
            httpGet.setHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");  
            httpGet.setHeader("Accept-Language", "zh-cn,zh;q=0.8");  
            httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1)");  
//要对资源进行判断，如果不是压缩包之类的，注销掉下面这句话
//            httpGet.setHeader("Accept-Encoding", "gzip, deflate");  
            httpGet.setHeader("Accept-Charset", "GB2312,utf-8;q=0.7,*;q=0.7");  
            httpGet.setHeader("Host", "www.baidu.com");  
            httpGet.setHeader("Connection", "Keep-Alive");  
            System.out.println("uri=" + httpGet.getURI());  
            //执行 get 请求  
            HttpResponse httpResponse = httpClient.execute(httpGet);  
            //获取响应实体  
            HttpEntity httpEntity = httpResponse.getEntity();  
            //打印响应状态  
            System.out.println(httpResponse.getStatusLine());  
            if (httpEntity != null) {  
                //响应内容的长度  
                long length = httpEntity.getContentLength();  
                //响应内容  
                String content = EntityUtils.toString(httpEntity);  
                System.out.println("Response content length:" + length);  
                System.out.println("Response content:" + content);  
            }  
            //有些教程里没有下面这行  
            httpGet.abort();  
        } catch (Exception e) {  
            e.printStackTrace();  
        } finally {  
            //关闭连接，释放资源  
            httpClient.getConnectionManager().shutdown();  
        }  
    }  
}

网络爬虫（Spider）Java实现原理

Java语言在此非常适合构建一个“蜘蛛”程序，其内建了对HTTP协议的支持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正是这两个原因使Java语言能称为为“spider”。
1、多线程爬虫