crawler爬虫java实例_java使用Crawler4j开发爬虫

在爬虫开发中，常用的语言是python，但是也可以使用java来进行 开发，这样就可以利用java强大的库，下面就来介绍一下常用的java爬虫框架。

Crawler4j

定制Controller层，用于控制爬虫的行为

使用main()直接开始程序即可

下面上代码：

// 此类用于控制爬虫爬取网页的图片，并且将图片存储在本地

public class ImageCrawler extends WebCrawler {

// 用于过滤，使用正则表达式匹配

private static final Pattern filters = Pattern.compile(

".*(\\.(css|js|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" +

"|rm|smil|wmv|swf|wma|zip|rar|gz))$");

// 用于确定需要爬取的资源类型(这边是爬取图片)

private static final Pattern imgPatterns = Pattern.compile(".*(\\.(bmp|gif|jpe?g|png|tiff?))$");

// 存储图片的文件夹

private static File storageFolder;

// 爬虫会爬取的域，可以是一个普通的URL

private static String[] crawlDomains;

// 初始化Controller

public static void configure(String[] domain, String storageFolderName) {

crawlDomains = domain;

storageFolder = new File(storageFolderName);

if (!storageFolder.exists()) {

storageFolder.mkdirs();

}

}

@Override

// 确定需不需要下载url所指定的资源

public boolean shouldVisit(Page referringPage, WebURL url) {

String href = url.getURL().toLowerCase();

// 和过滤器相匹配，不下载

if (filters.matcher(href).matches()) {

return false;

}

// 是图片，下载

if (imgPatterns.matcher(href).matches()) {

return true;

}

// 如果是网页，进行url匹配，看是不是在需要下载的域内部

for (String domain : crawlDomains) {

// 在需要下载的域内

if (href.startsWith(domain)) {

return true;

}

}

return false;

}

// shouldVisit为true，则会调用此函数

@Override

public void visit(Page page) {

String url = page.getWebURL().getURL();

// 如果是图片，并且图片大小在10kb以内，就不访问

if (!imgPatterns.matcher(url).matches() ||

!((page.getParseData() instanceof BinaryParseData) ||

(page.getContentData().length < (10 * 1024)))) {

return;

}

// get a unique name for storing this image

// 获取图片的格式

String extension = url.substring(url.lastIndexOf('.'));

// 获取图片的名称，此处是随机值

String hashedName = UUID.randomUUID() + extension;

// 存储图片

String filename = storageFolder.getAbsolutePath() + "/" + hashedName;

try {

// 写入文件系统，并且输出到磁盘

Files.write(page.getContentData(), new File(filename));

logger.info("Stored: {}", url);

} catch (IOException iox) {

logger.error("Failed to write file: " + filename, iox);

}

}

}

下面是启动爬虫所用：

public class ImageCrawlController {

private static final Logger logger = LoggerFactory.getLogger(ImageCrawlController.class);

public static void main(String[] args) throws Exception {

// 爬虫参数控制，需要传入3个参数

// 存储路径，这个是存储爬虫的运行时数据的

// 并行线程数量

// 图片存储路径

if (args.length < 3) {

logger.info("Needed parameters: ");

logger.info("\t rootFolder (it will contain intermediate crawl data)");

logger.info("\t numberOfCralwers (number of concurrent threads)");

logger.info("\t storageFolder (a folder for storing downloaded images)");

return;

}

String rootFolder = args[0];

int numberOfCrawlers = Integer.parseInt(args[1]);

String storageFolder = args[2];

CrawlConfig config = new CrawlConfig();

// 设置运行数据存储路径

config.setCrawlStorageFolder(rootFolder);

// 下载二进制数据(图片是二进制的数据)

config.setIncludeBinaryContentInCrawling(true);

// 需要爬的网站

String[] crawlDomains = {"http://uci.edu/"};

// PageFetcher是用于下载数据的

PageFetcher pageFetcher = new PageFetcher(config);

// 用于控制是否遵守robots协议

RobotstxtConfig robotstxtConfig = new RobotstxtConfig();

RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);

CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);

// 添加爬虫最初爬取的网页

for (String domain : crawlDomains) {

controller.addSeed(domain);

}

ImageCrawler.configure(crawlDomains, storageFolder);

// 启动爬虫，使用并行

controller.start(ImageCrawler.class, numberOfCrawlers);

}

}

#Tip：本文所用代码是Crawler4j官方代码，只是稍作注解而已