读《这就是搜索引擎:核心技术详解》简单总结

这部书得部分知识给我了比较好得灵感，特此记下：

1，确定页面更新频率得方法：

使用聚类得方法，来确定页面得更新频率；

如：通过页面得静态特征和动态特征来聚类页面，从而确定更新频率；

2，分布式爬虫架构：主从架构，对等架构（利用一致性hash来分配url抓取）；

3，倒排索引，通过查询样例与目标建立索引，快速查询数据；

4，动态索引：加入临时索引；