java爬取百度图片

       公司智能分析部的一位同事遇到难题了，他正阵子做人脸识别，经理给他的图片来源都是外国图片，他想用中国的人脸来作测试，当然最好是中国明星，但是又嫌从百度上一张一张下载比较麻烦，于是找我帮个忙，看看能不能解决。恰巧之前用Java弄过从网络上下载图片，于是我就答应他工作之余一起来想办法。刚开始我用Jsoup来做，后来发现Jsoup获取不到百度图片的地址，因为百度图库的图片是JS异步加载的，网上找了很多资料，竟然发现没有关于下载百度图片的相关实例代码，最后让我庆幸的是原来开源的HtmlUnit可以帮我解决这个问题，让我有种“山重水复疑无路，柳暗花明又一村”的感觉。

        下面我就以从百度下载张学友为例进行分析：

步骤1：打开百度图库（http://image.baidu.com/），在检索框内输入“张学友”，点击“百度一下”。

步骤2：看到检索结果，红框区就是我们要下载的图片

步骤3：点击第一张图片，会看到一个大图，我们通常会右键下载

步骤4：现在我们不妨试着用程序去把拿到这张大图的原地址（最关键）

步骤5：根据图片原地址去下载到本地文件夹。

注意：百度图片是根据百度算法去一些网站爬取的，然后Copy一份到百度数据库，经验告诉我，如果去访问百度数据库的图片可能经常会碰到403禁止访问的情况，所以建议各位先获取到图片原网站的地址，根据原图片网络地址去下载。好处有两个，一是保证可以正常下载，二是下载的图片比较高清。

代码实现：

package com.kendy.spider;

import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLDecoder;
import java.util.List;

import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlDivision;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlTextInput;


public class SpiderFromBaidu {

	public static void main(String[] args) throws Exception {
		WebClient webClient=new WebClient();
		webClient.getOptions().setCssEnabled(true);
		webClient.getOptions().setJavaScriptEnabled(true);
		webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
		webClient.setAjaxController(new NicelyResynchronizingAjaxController());  
        webClient.waitForBackgroundJavaScript(600*1000);  
          
        String url = "http://image.baidu.com/";

		HtmlPage page=webClient.getPage(url);
		sop("get page success...");

	    final HtmlForm form = page.getFormByName("f1");
	    final HtmlTextInput textField = form.getInputByName("word");
	    textField.setValueAttribute("张学友");

		List list = page.getByXPath("//form/span/input[@type=\"submit\"]");
		HtmlSubmitInput go = (HtmlSubmitInput)list.get(0);
		HtmlPage p =(HtmlPage)go.click();
		webClient.waitForBackgroundJavaScript(3*1000); 
		 
		List imgList = p.getByXPath("//div[@class='list']/div/div[@class='imgshadow']");
		HtmlDivision imgDiv = null;
		HtmlAnchor link = null;
		HtmlElement element = null;
		String str=null;
		int begin=0;
		int end = 0;
		int k=1;
		for(int i=0;i<imgList.size();i++){
			imgDiv =(HtmlDivision)imgList.get(i);
			element = (HtmlElement) imgDiv.getLastElementChild().getLastElementChild();
			str = element.toString();
			if(str.contains("url") && str.contains(".jpg")){
				begin = str.indexOf("url")+4;
				end = str.indexOf(".jpg")+4;
				str = str.substring(begin,end);
				str = URLDecoder.decode(str);
				download(str,"C:\\Users\\kendy\\DeskTop\\SpiderFromBD\\");
				sop("下载成功：");
			}else{
				str = "";
			}
			if(!str.equals("")){
				sop("百度图片地址"+k+++": "+str); 
			}
		}
	}
	public static void sop(Object obj){
		System.out.println(obj);
	}
	//根据图片网络地址下载图片
	public static void download(String url,String path){
		File file= null;
		File dirFile=null;
		FileOutputStream fos=null;
		HttpURLConnection httpCon = null;
		URLConnection  con = null;
		URL urlObj=null;
		InputStream in =null;
		byte[] size = new byte[1024];
		int num=0;
		try {
			String downloadName= url.substring(url.lastIndexOf("/")+1);
			dirFile = new File(path);
			if(!dirFile.exists()){
				if(dirFile.mkdir()){
					if(path.length()>0){
						sop("creat document file \""+path.substring(0,path.length()-1)+"\" success...\n");
					}
				}
			}else{
			file = new File(path+downloadName);
			fos = new FileOutputStream(file);
			if(url.startsWith("http")){
				urlObj = new URL(url);
				con = urlObj.openConnection();
				httpCon =(HttpURLConnection) con;
				in = httpCon.getInputStream();
				while((num=in.read(size)) != -1){
					for(int i=0;i<num;i++) 
					   fos.write(size[i]);
				}
			}
			}
			
		} catch (Exception e) {
			e.printStackTrace();
		} finally{
			try {
				fos.close();
				in.close();
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}

}