[Java]使用HttpClient实现一个简单爬虫，抓取煎蛋妹子图

虫子的功能很简单，抓取到”煎蛋网xxoo”网页(http://jandan.net/ooxx/page-1537)，解析出其中的妹子图，保存至本地。

从程序来讲，分为三个步骤：

1、发起一个http请求，获取返回的response内容；

2、解析内容，分离出有效图片的url；

3、根据这些图片的url，生成图片保存至本地。

开始详细说明：

准备工作：HttpClient的Jar包，访问http://hc.apache.org/   自行下载。

主程序内容：

public class SimpleSpider {
    //起始页码
    private static final int page = 1538;
    public static void main(String[] args) {
        //HttpClient 超时配置
        RequestConfig globalConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.STANDARD).setConnectionRequestTimeout(6000).setConnectTimeout(6000).build();
        CloseableHttpClient httpClient = HttpClients.custom().setDefaultRequestConfig(globalConfig).build();
        System.out.println("5秒后开始抓取煎蛋妹子图……");
        for (int i = page; i > 0; i--) {
            //创建一个GET请求
            HttpGet httpGet = new HttpGet("http://jandan.net/ooxx/page-" + i);
            httpGet.addHeader("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36");
            httpGet.addHeader("Cookie","_gat=1; nsfw-click-load=off; gif-click-load=on; _ga=GA1.2.1861846600.1423061484");
            try {
                //不敢爬太快
                Thread.sleep(5000);
                //发送请求，并执行
                CloseableHttpResponse response = httpClient.execute(httpGet);
                InputStream in = response.getEntity().getContent();
                String html = Utils.convertStreamToString(in);
                //网页内容解析
                new Thread(new JianDanHtmlParser(html, i)).start();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

HttpClient是一个非常强大的工具，属于apache下项目。如果只是创建一个默认的httpClient实例，代码很简单，官网手册上有详细说明。

可以看到在创建一个GET请求时，加入了请求头。第一个User-Agent代表所使用浏览器。有些网站需要明确了解用户所使用的浏览器，而有些不需要。个人猜测，部分网站根据用户使用浏览器不同显示不一样。这里的煎蛋网，就必须得加入请求头。第二个Cookie则代表了一些用户设置，可以没有。使用chrome的开发者工具就能清楚看到。如果是https加密后的，则需要特殊的抓包工具。

网页内容解析

import java.util.ArrayList;
import java.util.List;

public class JianDanHtmlParser implements Runnable {
	private String html;
	private int page;
	public JianDanHtmlParser(String html,int page) {
		this.html = html;
		this.page = page;
	}
	@Override
	public void run() {
		System.out.println("==========第"+page+"页============");
		List<String> list = new ArrayList<String>();
		html = html.substring(html.indexOf("commentlist"));
		String[] images = html.split("li>");
		for (String image : images) {
			String[] ss = image.split("br");
			for (String s : ss) {
				if (s.indexOf("<img src=") > 0) {
					try{
						int i = s.indexOf("<img src=\"") + "<img src=\"".length();
						list.add(s.substring(i, s.indexOf("\"", i + 1)));
					}catch (Exception e) {
						System.out.println(s);
					}
					
				}
			}
		}
		for(String imageUrl : list){
			if(imageUrl.indexOf("sina")>0){
				new Thread(new JianDanImageCreator(imageUrl,page)).start();
			}
		}
	}
}

这段代码看起来凌乱，但实际上却特别简单。简单说便是，将response返回的html字符串解析，截取，找到真正需要的内容（图片url），存入到临时容器中。

生成图片类

public class JianDanImageCreator implements Runnable {
    private static int count = 0;
    private String imageUrl;
    private int page;
     //存储路径，自定义
    private static final String basePath = "E:/jiandan"; 
    public JianDanImageCreator(String imageUrl,int page) {
        this.imageUrl = imageUrl;
        this.page = page;
    }
    @Override
    public void run() {
        File dir = new File(basePath);
        if(!dir.exists()){
            dir.mkdirs();
            System.out.println("图片存放于"+basePath+"目录下");
        }
        String imageName = imageUrl.substring(imageUrl.lastIndexOf("/")+1);
        try {
            File file = new File( basePath+"/"+page+"--"+imageName);
            OutputStream os = new FileOutputStream(file);
            //创建一个url对象
            URL url = new URL(imageUrl);
            InputStream is = url.openStream();
            byte[] buff = new byte[1024];
            while(true) {
                int readed = is.read(buff);
                if(readed == -1) {
                    break;
                }
                byte[] temp = new byte[readed];
                System.arraycopy(buff, 0, temp, 0, readed);
                //写入文件
                os.write(temp);
            }
            System.out.println("第"+(count++)+"张妹子:"+file.getAbsolutePath());
            is.close(); 
            os.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

根据每个图片的src地址创建一个URL对象，再使用字节流，生成本地文件。

url工具类：

import java.io.BufferedReader;

import java.io.File;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
public class Utils {
public static void writeToFile(InputStream in, String path){
File file = new File(path);
System.out.println("是否为文件："+file.isFile());
try {
FileOutputStream out = new FileOutputStream(file);
        byte[] buffer = new byte[1024];
        int len;
        while((len=in.read(buffer))>0){
        out.write(buffer, 0, len);
        }
} catch (Exception e) {
e.printStackTrace();
System.out.println("================文件写入失败==================");
}        
}
/*
* 
*/
public static String convertStreamToString(InputStream in) {
BufferedReader reader = new BufferedReader(new InputStreamReader(in));
StringBuilder sb = new StringBuilder();
String line = null;
try {
while ((line = reader.readLine()) != null) {
sb.append(line + "/n");
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}
return sb.toString();


}
}

这个程序相对来说比较简单，纯属娱乐。如果能让那些不了解HttpClient的同学对这个库产生兴趣，则功德无量。

github地址：https://github.com/nbsa/SimpleSpider

PS:这个博客只提供抓取图片的方法，图片版权属于原网站及其网友。请大家尊重原网劳动成果，避免分发、传播图片内容。