Nutch策略研究

nutch现在的版本专注于爬取网页部分，搜索部分交给solr, elasticsearch等专门的开源项目了。

Nutch爬虫工作策略

累积式抓取（cumulative crawling）：

指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。但由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的情况也不同，因此累积式抓取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

增量式抓取（incremental crawling）：

指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行抓取，以保证所抓取到的数据与真实网络数据足够接近。进行增量式抓取的前提是，系统已经抓取了足够数量的网络页面，并具有这些页面被抓取的时间信息。

面向实际应用环境的网络蜘蛛设计中，通常既包括累积式抓取，也包括增量式抓取的策略。

累积式抓取一般用于数据集合的整体建立或大规模更新阶段；

而增量式抓取则主要针对数据集合的日常维护与即时更新。
在确定了抓取策略之后，如何从充分利用网络带宽，合理确定网页数据更新的时间点就成了网络蜘蛛运行策略中的核心问题。

网上搜集到的网页去重策略：
1.通过MD5生成电子指纹来判断页面是否改变
2.nutch去重策略：nutch中digest是对采集的每一个网页内容的32位哈希值，如果两个网页内容完全一样，它们的digest值肯定会一样，但哪怕其中之一多或少一个空格，它们的digest值就会不一样。所以，我认为，用digest做id是一个非常不错的选择。
如果nutch在两次不同的时间抓某个网页，例如还有新浪首页http://www.sina.com.cn，如果在两次抓取这段时间，首页没有什么变化，nutch计算出的两次抓取的首页的digest肯定是一样的，这样，nutch在第二次向solr进行索引时，发现digest在solr的索引库中已存在（id是唯一的），自然就写不进去。这样，避免了索引库的重复记录。
同时，采用digest作为Id，也避免了一个行业内部网有镜像网站在solr索引库的重复记录。

总之，采用digest作为Id，防止了nutch在向solr索引库写入时写入重复记录的问题，有天然去重功能。

但是，还必须解决一个问题：如果nutch在两次不同的时间抓某个网页，如果这个网页有变化，两次的digest值肯定不同，这样，nutch在向solr索引库update时，会将同一个url（如http://www.sina.com.cn)写入两条记录。那么，在搜索界面键入：新浪，肯定会出现两条新浪网站数据。如此类推，nutch采集了同一url网页 n 次，就有可能在solr索引库中有n条相似的记录。这样的情况出现让我很抓狂，陷于困局之中。

其实，这就是对同一个url进行去重的问题。nutch 有一个去重的模块org.apache.nutch.indexer.solr.SolrDeleteDuplicates.java，命令为： bin/nutch solrdedup，分析发现，它是对digest相同的记录进行去重。估计是nutch把url作为solr的主键id，所以没有考虑到对url相同的 记录进行去重。代码如下：utch与起点R3集成之笔记