揭开神秘面纱,搜索引擎原理浅析[转]

原创 2005年04月25日 12:17:00

在浩如烟海的Internet上,特别是其上的Web(World Wide Web万维网)上,不会搜索,就不会上网。网虫朋友们,你了解搜索引擎吗?它们是怎么工作的?你都使用哪些搜索引擎?今天我就和大家聊聊搜索引擎的话题。

  一、搜索引擎的分类

  获得网站网页资料,能够建立数据库并提供查询的系统,我们都可以把它叫做搜索引擎。按照工作原理的不同,可以把它们分为两个基本类别:全文搜索引擎(FullText Search Engine)和分类目录Directory)。

  全文搜索引擎的数据库是依靠一个叫“网络机器人(Spider)”或叫“网络蜘蛛(crawlers)”的软件,通过网络上的各种链接自动获取大量网页信息内容,并按以定的规则分析整理形成的。Google、百度都是比较典型的全文搜索引擎系统。

  分类目录则是通过人工的方式收集整理网站资料形成数据库的,比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外,在网上的一些导航站点,也可以归属为原始的分类目录,比如“网址之家”(http://www.hao123.com/)。

  全文搜索引擎和分类目录在使用上各有长短。全文搜索引擎因为依靠软件进行,所以数据库的容量非常庞大,但是,它的查询结果往往不够准确;分类目录依靠人工收集和整理网站,能够提供更为准确的查询结果,但收集的内容却非常有限。为了取长补短,现在的很多搜索引擎,都同时提供这两类查询,一般对全文搜索引擎的查询称为搜索“所有网站”或“全部网站”,比如Google的全文搜索(http://www.google.com/intl/zh-CN/);把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”,比如新浪搜索(http://dir.sina.com.cn/)和雅虎中国搜索(http://cn.search.yahoo.com/dirsrch/)。

  在网上,对这两类搜索引擎进行整合,还产生了其它的搜索服务,在这里,我们权且也把它们称作搜索引擎,主要有这两类:

  ⒈元搜索引擎(META Search Engine)。这类搜索引擎一般都没有自己网络机器人及数据库,它们的搜索结果是通过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显示。元搜索引擎虽没有“网络机器人”或“网络蜘蛛”,也无独立的索引数据库,但在检索请求提交、检索接口代理和检索结果显示等方面,均有自己研发的特色元搜索技术。比如“metaFisher元搜索引擎”
(http://www.hsfz.net/fish/),它就调用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的数据。

  ⒉集成搜索引擎(All-in-One Search Page)。集成搜索引擎是通过网络技术,在一个网页上链接很多个独立搜索引擎,查询时,点选或指定搜索引擎,一次输入,多个搜索引擎同时查询,搜索结果由各搜索引擎分别以不同页面显示,比如“网际瑞士军刀”(http://free.okey.net/%7Efree/search1.htm)。

  二、搜索引擎的工作原理

  全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件,它遍历Web空间,能够扫描一定IP地址范围内的网站,并沿着网络上的链接从一个网页到另一个网页,从一个网站到另一个网站采集网页资料。它为保证采集的资料最新,还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页,还要有其它程序进行分析,根据一定的相关度算法进行大量的计算建立网页索引,才能添加到索引数据库中。我们平时看到的全文搜索引擎,实际上只是一个搜索引擎系统的检索界面,当你输入关键词进行查询时,搜索引擎会从庞大的数据库中找到符合该关键词的所有相关网页的索引,并按一定的排名规则呈现给我们。不同的搜索引擎,网页索引数据库不同,排名规则也不尽相同,所以,当我们以同一关键词用不同的搜索引擎查询时,搜索结果也就不尽相同。
【转自:http://www.pconline.com.cn/pcedu/soft/wl/assist/0408/438518.html

strtoul函数的使用,揭开其神秘面纱

之前使用strtoul函数时,从来没思考过它的用法,最近在编写驱动设计时,突遇这个函数,发现这函数还是有值得探讨的地方。 其函数原型如下: unsigned long strtoul(const ...
  • czxyhll
  • czxyhll
  • 2012年08月17日 10:56
  • 36664

揭开正则表达式的神秘面纱

  • 2011年12月22日 10:10
  • 138KB
  • 下载

揭开象限仪的神秘面纱

  • 2017年01月22日 10:16
  • 2.26MB
  • 下载

C++学习之七、揭开C++I/O的神秘面纱

揭开C++I/O的神秘面纱   C++通过流(stream)机制来提供比C更先进的输入输出方法。每个流都有一个相关联的源和目的。包括控制台流、文件流、字符串流等。   1.控制台流: 流输出...

DDR-Ⅱ——揭开你神秘的面纱

  • 2011年03月24日 17:17
  • 34KB
  • 下载

揭开VR View之全景图的神秘面纱

GoogleVR SDK简称GVR,在一些休闲娱乐、旅行观光或房地产类型的App中,我们可以通过VR技术动态添加内容来提升用户体验,让人们足不出户享受虚拟场景所带给的惊喜。这里以VR 全景图为探索起点...

揭开华为神秘的教父面纱

  • 2010年01月27日 13:41
  • 47KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:揭开神秘面纱,搜索引擎原理浅析[转]
举报原因:
原因补充:

(最多只允许输入30个字)