Nutch、heritrix、crawler4j优缺点

Nutch:

主页：https://nutch.apache.org/index.html

 

ApacheNutch是一个高度可扩展的和可伸缩的开源网页爬虫软件项目。源于ApacheLucene^TM,项目多样化，目前由两个代码库组成，即：

1.     Nutch1.x：一个非常成熟的爬虫产品。1.x版本支持细粒度的配置，依赖于一个很好的分布式处理的ApacheHadoop数据结构。

2.     Nutch2.x：一个新兴的可供选择的版本，它的灵感来自于1.x版本，但是2.x和1.x在一个关键领域中不同。2.x版本的存储是脱离任何特定的底层数据存储，使用ApacheGora™处理对象持久性映射。这意味着我们可以实现一个极其灵活的模型/栈用于存储一切（比如获取时间、状态、内容解析文本、outlinks、inlinks等等）到NoSQL数据库中的解决方案。

 

可插拔和模块化当然有着它的好处，Nutch提供了可扩展的接口，比如Parse（解析）、Index（索引）和Scoringfilter的自定义实现（例如用于解析的ApacheTika）。另外

Nutch可以在一个单个的机器上面运行，但是可以从运行一个Hadoop集群获取很多它想要的。

 

1）Nutch是基于Hadoop的，它帮助我们更好的理解Hadoop