网页更新策略

目录

网页更新策略

历史参考策略

用户体验策略

聚类抽样策略

---

网页更新策略

网页更新策略的任务是要决定何时重新抓取之前已经下载过的网 页，以尽可能使得本地下载网页和互联网原始页面内容保持一致。常用 的网页更新策略有3种：历史参考策略、用户体验策略和聚类抽样策略。

历史参考策略

建立的假设基础:过去频繁发生变化的网页将来也会频繁更新.这种方法往往利用泊松过程来对网页的变化进行建模，根据每个网 页过去的变动情况，利用模型预测将来何时内容会再次发生变化，以此 来指导爬虫的抓取过程。但是不同方法侧重不尽相同，比如有的研究将 一个网页划分成不同的区域，抓取策略应该忽略掉广告栏或者导航栏这 种不重要区域的频繁变化，而集中在主题内容的变化探测和建模上。

用户体验策略

影响力越大的网页,应该尽快更新.

聚类抽样策略

，首先根据网页所表现出的特 征，将其聚类成不同的类别，每个类别内的网页具有相似的更新周期。 从类别中抽取一部分最有代表性的网页（一般抽取最靠近类中心的那些 网页），对这些网页计算其更新周期，那么这个更新周期适用于类别内 的所有网页，之后即可根据网页所属类别来决定其更新频率。

相关实验表明，聚类抽样策略效果好于前述两种更新策略，但是对 以亿计的网页进行聚类，其难度也是非常巨大的。