Nutch 开发语言：Java http://lucene.apache.org/nutch/
简介： Apache的子项目之一，属于Lucene项目下的子项目。
Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。
Larbin 开发语言：C++ http://larbin.sourceforge.net/index-eng.html
开源网络爬虫介绍及其比较
最新推荐文章于 2024-05-27 17:50:54 发布
本文介绍了几个开源网络爬虫工具，如Nutch、Larbin、Heritrix，对比了它们的特性和用途。Nutch是Apache的子项目，与Lucene紧密集成，适合搜索引擎解决方案；Larbin是C++实现，适用于大规模网页抓取；Heritrix是档案爬虫，关注站点内容的完整复制。此外，还提到了其他如WebLech、Arale等爬虫工具，各有其特点和应用场景。
最低0.47元/天 解锁文章
扫一扫
9157
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
