这部书得部分知识给我了比较好得灵感,特此记下:
1,确定页面更新频率得方法:
使用聚类得方法,来确定页面得更新频率;
如:通过页面得静态特征和动态特征来聚类页面,从而确定更新频率;
2,分布式爬虫架构:主从架构,对等架构(利用一致性hash来分配url抓取);
3,倒排索引,通过查询样例与目标建立索引,快速查询数据;
4,动态索引:加入临时索引;
这部书得部分知识给我了比较好得灵感,特此记下:
1,确定页面更新频率得方法:
使用聚类得方法,来确定页面得更新频率;
如:通过页面得静态特征和动态特征来聚类页面,从而确定更新频率;
2,分布式爬虫架构:主从架构,对等架构(利用一致性hash来分配url抓取);
3,倒排索引,通过查询样例与目标建立索引,快速查询数据;
4,动态索引:加入临时索引;