简述网络爬虫的系统实现

网络爬虫常常被人所忽略，特别是和搜索引擎的光环相比，它似乎有些暗淡无光。我很少看见有详细介绍爬虫实现的文章或者文档。然而，爬虫其实是非常重要的一个系统，特别是在今天这个数据为王的时代。如果你是一个刚刚开始的公司或者项目，没有任何原始的数据积累，那么通过爬虫去Internet上找到那些有价值的数据再进行数据的清洗和整理，是一个可以快速得到数据的重要手段。

本文侧重于爬虫的系统设计和实现的部分细节，内容来源于两方面，一是我这一个多月做爬虫的心得体会，但我做的爬虫规模不至于太大，对于性能的要求达不到诸如百度那么高的要求，第二则是来源于阅读的几篇文献。我找到的大部分关于爬虫的系统方面的文献都是2000年左右的，此后寥寥无几，说明关于爬虫的系统设计在10年前已经基本解决了（2000年不就是Baidu刚开始的时候么，说不定它家的爬虫也参考了这些文章^-^）。

此外，既然本文侧重于系统方面的问题，那么某些内容就不会涉及，比如如何抓取那些隐藏的web数据，如何抓取ajax的页面，如何动态调整抓取频率等等。

正文

一个正规的，完整的网络爬虫其实是一个很复杂的系统：首先，它是一个海量数据处理系统，因为它所要面对的是整个互联网的网页，即便是一个小型的，垂直类的爬虫，一般也需要抓取上十亿或者上百亿的网页；其次，它也是一个对性能要求很好的系统，可能需要同时下载成千上万的网页，快速的提取网页中的url，对海量的url进行去重，等等；最后，它确实是一个不面向终