一、网络爬虫与搜索引擎的关系
爬虫相当于眼睛和耳朵,是收集数据的。
引擎相当于大脑,是理解和处理数据的。
搜索引擎大致可分为四个子系统:下载系统、分析系统、索引系统、查询系统。而爬虫只是下载系统
上图是搜索引擎的一个简单抽象模型。
从中可以看出爬虫是搜索引擎的一部分,用于搜集信息(下载网页内容),搜集来的信息形成网页的备份,需要搜索引擎的其他部分经过一系列的分析整理后才能使用。
上图是爬虫的基本构架。
一般大型的商业化搜索引擎使用的爬虫为“通用网络爬虫”。
这种爬虫需要爬取的是整个互联网的网页资源,所以对其性能的要求极高。需要投入较大的人力物力来优化爬虫的爬取算法。
现在是“大数据时代”,我们需要的资源存在于互联网海量的数据之中,有时候我们从搜索引擎中搜索到的数据不能很好的为我们所用。那我们怎样才能从数据的海洋中提取出真正我们需要的宝藏呢?
我们需要自己的得手利器,打造一款适合自己需求的个性化爬虫程序,这就是“聚焦网络爬虫”。
聚焦网络爬虫(简称聚焦爬虫)也叫主题网络爬虫,可以按照对应的主题有目的地爬取,节约了大量的服务器和宽带资源,具有很强的实用性。
聚焦爬虫的工作流程:
1.给爬虫一个初始URL;
2.将初始URL传递到URL队列;
3.页面爬行模块从URL队列中读取URL列表;
4.页面爬行模块根据URL进行页面爬取;
5.将爬取的内容储存在页面数据库中;
6.将爬取到的新URL使用链接过滤模块;
7.剩下的URL用链接评价模块或内容评价模块 优先级排序;
8.新的URL地址传递到URL队列;
9.在页面数据库中使用页面分析模块;
我们可以使用网络数据采集程序来练习,例如metaseeker程序。
通过使用这个程序,可以加深我们对于爬虫工作原理的理解。