java 抓取网页内容小工具

之超同志今天问我会不会抓网页的内容，然后把一些表格整理成excel。

好吧，我是不会的，但是我想试试，结果还是可行的。

先说说他的需求吧，他需要把http://www.zjex.com.cn/view/company.php?func=listAll&catalog=0401&page=1这个网站里的所有公司信息都存在一张excel表格里。

我之前没有使用java抓过网页内容，不过用vb.net写过，稍微知道一些。

我搜索到了这篇文章的内容：http://blog.csdn.net/xiaoyu411502/article/details/4500806

然后对其代码删减了点，就可以抓网页的源代码了。

github地址：https://github.com/FieldSoft-HelloClyde/NetGrab

对于其他网址有相应的适配版本

下面是程序执行的第一步，抓取第一页到第22页的内容，把公司子网页的链接存下来。

import java.io.BufferedInputStream;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;


public class Main {
	/**
	 * 主函数
	 * @param args
	 */
	static public void main(String[] args){
		String SrcWebSiteUrl = new String("http://www.zjex.com.cn/view/company.php?func=listAll&catalog=0401&page=");
		int WebSitePageId = 1;
		ArrayList<String> WebUrlArrayList = new ArrayList<String>();
		for (WebSitePageId = 1;WebSitePageId <= 22;WebSitePageId ++){
			//抓取网页内容
			String WebSiteString;
			WebSiteString = GetWebSiteSourceCode("http://www.zjex.com.cn/view/company.php?func=listAll&catalog=0401&page=" + WebSitePageId);
			//System.out.println(WebSiteString);
			GetWebUrl(WebSiteString,WebUrlArrayList);
		}
	}
	
	
	/**
	 * 从网页源代码中获取需要的网址，存入列表中
	 * @param WebSiteString
	 * @return
	 */
	public static void GetWebUrl(String WebSiteString,ArrayList<String> DesArray){
		String KeyString = new String("<div class=\"comimg fl\"><a href=\"");
		String EndString = new String("\">");
		int SearchFromIndex = 0;
		int SearchIndex;
		SearchIndex = WebSiteString.indexOf(KeyString, SearchFromIndex);
		while (SearchIndex != -1){
			String TempUrl;
			int StringEndIndex;
			StringEndIndex = WebSiteString.indexOf(EndString, SearchIndex + KeyString.length());
			TempUrl = WebSiteString.substring(SearchIndex + KeyString.length(), StringEndIndex);
			System.out.println(TempUrl);
			DesArray.add(new String(TempUrl));
			SearchFromIndex = StringEndIndex + EndString.length();
			SearchIndex = WebSiteString.indexOf(KeyString, SearchFromIndex);
		}
	}
	
	/**
	 * 获取指定网页内容
	 * @param url
	 * @return
	 */
	public static String GetWebSiteSourceCode(String url) {  
        StringBuffer temp = new StringBuffer(); 
        try {  
            HttpURLConnection uc = (HttpURLConnection)new URL(url).  
                                   openConnection();  
            uc.setConnectTimeout(10000);  
            uc.setDoOutput(true);  
            uc.setRequestMethod("GET");  
            uc.setUseCaches(false);  

            InputStream in = new BufferedInputStream(uc.getInputStream());  
            Reader rd = new InputStreamReader(in, "utf-8");  
            int c = 0;  
            while ((c = rd.read()) != -1) {  
                temp.append((char) c);  
            }  
            in.close();  
            
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
        return temp.toString();  
    }
}

然后是第二步内容，根据第一步的url，对网页的表格内容进行抓取，保存到txt文档中，每一项都用空格分开。

import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.PrintWriter;
import java.util.Scanner;


public class GetTable {
	public static void main(String[] args){
		try {
			String UrlTextFileName = new String("d:/url.txt");
			Scanner FileScanner = new Scanner(new FileReader(UrlTextFileName));
			PrintWriter DesTxt = new PrintWriter("d:/table.txt");
			String[] TypeStrArray = {"公司名称","公司简称","企业代码","法人代表","挂牌日期","董秘","董秘电话","董秘QQ","董秘邮箱","注册日期"
									,"注册资本","推荐机构","会计师事务所","所属板块","所属行业","所在地","注册地址","办公地址","公司网址","经营范围"};
			//输出表头
			for (String TempStr:TypeStrArray){
				DesTxt.print(TempStr + " ");
			}
			DesTxt.println();
			
			while (FileScanner.hasNextLine()){
				String WebUrl = FileScanner.nextLine();
				String WebSiteString = Main.GetWebSiteSourceCode("http://www.zjex.com.cn" + WebUrl);
				ReadTable(WebSiteString,DesTxt,TypeStrArray);
			}
			DesTxt.close();
		} catch (FileNotFoundException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		}
	}
	
	public static void ReadTable(String WebSiteString,PrintWriter DesPW,String[] TypeArray){
		int ArrayIndex = 0;
		for (ArrayIndex = 0;ArrayIndex < TypeArray.length;ArrayIndex ++){
			int SearchIndex = WebSiteString.indexOf(TypeArray[ArrayIndex]);
			//读取下一行
			int StartIndex = WebSiteString.indexOf((char)13, SearchIndex) + 1;
			int EndIndex = WebSiteString.indexOf((char)13,StartIndex);
			String TempStr = WebSiteString.substring(StartIndex, EndIndex);
			//对获取的字符串处理
			String DesStr = GetValueString(TempStr);
			System.out.println(DesStr);
			DesPW.print(DesStr + " ");
		}
		DesPW.println();
	}
	
	public static String GetValueString(String Src){
		StringBuffer DesStr = new StringBuffer("");
		boolean IsBlock = false;
		for (int index = 0;index < Src.length();index ++){
			char TempChar = Src.charAt(index);
			if (IsBlock){
				if (TempChar == '>'){
					IsBlock = false;
				}
			}
			else{
				if (TempChar == '<'){
					IsBlock = true;
				}
				else{
					DesStr.append(TempChar);
				}
			}
		}
		return DesStr.toString().trim();
	}
}

保存在txt里后，用excel打开这个txt就会出现向导，跟着向导，选择使用分隔符分割，分隔符选择空格，然后把每一列类型都改为文本。

好了，任务完成了

贴一下成果