java整栈下载器_WebCollector下载整站页面(JAVA网络爬虫)

1.[代码]WebCollector下载整站页面(JAVA网络爬虫)

import cn.edu.hfut.dmic.webcollector.crawler.MultiExtractorCrawler;

import cn.edu.hfut.dmic.webcollector.extract.Extractor;

import cn.edu.hfut.dmic.webcollector.extract.ExtractorParams;

import cn.edu.hfut.dmic.webcollector.model.Page;

import cn.edu.hfut.dmic.webcollector.util.FileSystemOutput;

import cn.edu.hfut.dmic.webcollector.util.FileUtils;

import java.io.File;

/**

* Created by hu on 2015/6/25.

*/

public class HtmlExtractor extends Extractor{

FileSystemOutput fsOutput;

public HtmlExtractor(Page page, ExtractorParams params) {

super(page, params);

/*每次抽取都会实例化一个Extractor对象，为了让所有Extractor对象共享一个FileSystemOutput对象，

在外部实例化一个FileSystemOutput对象fsOutput，以参数形式传给每个Extractor对象，这里是获取

外部传入的FileSystemOutput对象*/

fsOutput= (FileSystemOutput) params.get("fsOutput");

}

@Override

public boolean shouldExecute() {

//我们希望对所有网页执行此抽取器

return true;

}

@Override

public void extract() throws Exception {

//本程序不需要进行网页抽取，所以extract()方法中不需要插入代码

}

@Override

public void output() throws Exception {

fsOutput.output(page);

}

public static void main(String[] args) throws Exception {

/*如果下载文件夹存在，先删除文件夹*/

File downloadDir=new File("download");

if(downloadDir.exists()){

FileUtils.deleteDir(downloadDir);

}

FileSystemOutput fsOutput=new FileSystemOutput("download");

MultiExtractorCrawler crawler=new MultiExtractorCrawler("crawl",true);

crawler.addSeed("http://36kr.com/");

crawler.addRegex("http://36kr.com/.*");

crawler.addExtractor(".*", HtmlExtractor.class, new ExtractorParams("fsOutput",fsOutput));

crawler.start(100);

}

}