maxwelllloong的专栏

翻译 网络爬虫的选择策略

<br />选择策略  <br />就现在网络资源的大小而言，即使大型搜索引擎也只能获取网络上可得到资源的一小部分。一项2005年的研究显示一个大型搜索引擎检索内容不超过可检索内容的40%-70%。[6]由 Dr. Steve Lawrence和 Lee Giles在1999共同做的一项研究指出，没有一个搜索引擎抓取的内容达到网络的16%。[7] 网络爬虫通常仅仅下载网页内容的一部分，但是大家都还是强烈要求下载的部分包括最多的相关页面，而不仅仅是一个随机简单的网页。<br /><br />这就要求一个公共标