java爬虫框架哪个好_Java爬虫（二）Java爬虫框架

关于本文：

之前写了个Java爬虫(一)，拖更了很久，今天终于想着补上Java爬虫二了，今天就粗略水一期，给大家介绍一个比较完善的Java爬虫——WebMagic,而且它的文档写的也很详细，上手非常容易。

——野狗菌【希望你能喜欢】

http://webmagic.io/

http://webmagic.io/docs/zh/

这个文档写的十分详细，简单易上手。

在这个框架里，我比较喜欢的是：

一、使用Selectable抽取元素

Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，你可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。

在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含一些重要的方法，我将它分为两类：抽取部分和获取结果部分。

这样在我们想要抓取指定数据时，更加的方便快捷，而无需过多的关心细节问题；

二、使用Pipeline保存结果

好了，爬虫编写完成，现在我们可能还有一个问题：我如果想把抓取的结果保存下来，要怎么做呢？WebMagic用于保存结果的组件叫做Pipeline。例如我们通过“控制台输出结果”这件事也