java网页爬虫测试源码

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;


/**
 * 利用java的Jsoup开发搜索引擎爬虫
 * 用到jar包 jsoup-1.8.1.jar
 * @author colbor
 *
 */
public class HtmlJsoup {
/**
* 更具有网址和页面的编码集获取网页源代码
* @param url 需要下载的url
* @param encoding 网页编码集
* @return String 网页源代码
*/
public static String getHtmlResourceByURL(String url,String encoding){

//声明一个存储网页源代码的容器
StringBuffer buffer=new StringBuffer();
URL urlObj=null;
URLConnection uc=null;
InputStreamReader in=null;
BufferedReader reader=null;
try{
//建立网络连接
urlObj=new URL(url);
//打开网络连接
uc=urlObj.openConnection();
//建立网络输入流
in=new InputStreamReader(uc.getInputStream(), encoding);
//缓冲写入文件流
reader=new BufferedReader(in);
//临时变量
String tempLine=null;
//循环读取文件流
while((tempLine=reader.readLine())!=null){
//循环追加数据
buffer.append(tempLine+"\n");
}
}catch(Exception e){
e.getStackTrace();
System.out.println("网页抓取失败，连接超时！");
}finally{
if(in !=null){
try{
in.close();
}catch(Exception e){
e.getStackTrace();
}
}
}

return buffer.toString();
}

public static void main(String[] args) {
System.out.println("开始抓取网页源码");
//根据网址和页面的编码集 获取网页的源码
String url="http://www.cnblogs.com/hongten/p/java_poi_excel.html";
String encoding="utf-8";
String str=getHtmlResourceByURL(url, encoding);
System.out.println(str);
//解析源码

//解析需要下载的内容部分
}
}