网站历史博物馆来过反爬

一、网站历史博物馆是什么

网站历史博物馆是专门针对整个互联网的历史进行备份的一个网站，在该网站上可以看到大部分的网站的历史快照，其数据完整程度取决于该网站本身，有很多这种网站，其数据库的数据量甚至超过搜索引擎。

目前国外比较知名的是archive.org   准备好梯子

国内的是忆网昔www.lookforpast.com

另外有一个中国web信息博物馆的网站，但是目前打不开，不知道什么情况。

archive的查询要从时间戳里再挑选快照截图，忆网昔的更加直接，输入域名后一键提交，查询出所有域名相关的直链快照截图，点击可放大看。

二、利用其来过反爬

我们可以先在这个网站历史信息博物馆查询某个网站的历史信息，先获取目标网站的一些摘要信息，然后我们再对某些特定的内容进行详情爬取，这样可以在一定程度上过掉反爬。甚至，某些时候，我们如果只需要这些网站的摘要信息，那么我们只需要获取这些历史信息即可，往往这些个网站是没有反爬措施的。