网络爬虫的更新策略

最新推荐文章于 2024-09-20 21:48:23 发布

weixin_30585437

最新推荐文章于 2024-09-20 21:48:23 发布

阅读量803

点赞数

文章标签：爬虫数据库大数据

原文链接：http://www.cnblogs.com/pzk7788/p/10530834.html

版权

一个网站的网页经常会更新，在网页更新之后，作为爬虫方，我们则需要对这些网页进行重新爬取，有以下几种策略进行重新爬取

(1) 用户体验策略：我们从浏览器搜索一个关键字，会出现一个排名结果，我们可以根据排名靠前的网页更新爬虫程序，对其进行爬取，这种更新策略称为用户体验策略
(2) 历史数据策略：一般我们不知道网站什么时候更新，但我们可以通过爬取的历史数据，分析出网站的更新周期，确定对这些网页的爬取周期，以此更新爬虫程序
(3) 聚类分析策略：聚类指的是共性较多的网页聚为一类，比如新闻类网站，购物类网站等等，确定爬虫程序要爬取哪一类数据

转载于:https://www.cnblogs.com/pzk7788/p/10530834.html