【转载】搜索引擎如何对付“暗网”

原创 2010年05月05日 10:22:00

 【转载】搜索引擎如何对付“暗网”
  
        网海无边,回头是岸。
  
  摆在搜索引擎面前的难题很多,剪不断,理还乱,但有一个怎么绕也绕不开——暗网(hidden web)。互联网上每天都在诞生无穷无尽的新信息,这些信息存在的方式也无穷无尽——文字、声音、图像、交互数据,或者别的。
  
  面对信息存在状态的多元化,内容的海量化,人类很焦虑,总想探求冰山底下不为人知的世界,这便是技术的伟大之处。
  
  近来,由于百度“阿拉丁”的热炒,“暗网”问题又一次被大家关注。业内人士也由此陷入一个误区,实际上,早在1994年,Jill Ellsworth就开始提到“invisible Web”这个词,“暗网”自搜索引擎诞生的那一天起,就一直是个问题,恐怕也终将得不到100%的解决。
  
  “暗网”有多暗?
  
  既然是“暗网”,到底它有多大的容量,很难有一个明确的数字。有人说,现在可搜索的网页占到了37%;有人说有100亿个不重复的表单;还有人说是浅层www资源的500倍。争论这个问题意义不大,对比浅层www(即Surface Web,静态页面、超链接、文件),让我们来看看BrightPlanet公司之前发布的一个技术白皮书(《The Deep Web-Surfacing the Hidden Value》)的结论:
  
  1、Deep Web包含7500TB的信息,而Surface Web包含的信息容量只有19TB。
  2、Deep Web包含5500亿独立文档,想对应的Surface Web只包含10亿个。
  3、现有的Deep Web站点估计超过100000个。
  4、60个最大Deep Web站点就已包含750TB信息,超过Surface Web所包含信息的40倍。
  5、平均看,Deep Web站点的月访问量比Surface Web站点高出50%,并且与Surface Web站点相比有更多的链接。可是那些典型的大型Deep Web站点在互联网搜索领域却不知名。
  6、Deep Web是互联网新信息增长的最大来源。
  7、Deep Web站点在信息内容范围上比一般Surface Web站点更专更深。
  8、Deep Web包含的有效高质内容总量至少是Surface Web的1000到2000倍。
  9、超过一半的Deep Web内容都保存在专业领域的数据库中。
  10、95%的Deep Web信息都是面向公共访问的,而不是需要付费或者订阅的。
  
  简单的说,“暗网”比你想象中的还要庞大,还要未知,但它们的应用却比你想象中的要多。因此,我们可以得到一个结论——尽管网海无边,但探索“暗网”对人类更从容地把握信息是极有意义的。
  
  目前主流的应对策略
  
  之前我曾留意到陈佼的一篇针对“阿拉丁”的文章(深入解析百度“阿拉丁”平台),其中提到了搜索引擎对“暗网”的应对策略。实际上,针对暗网的策略非常复杂,简直可以发展多个交叉学科来研究,举个简单的例子,微软亚洲研究院一直在研究关于声音信息的处理和检索,这项研究耗时多年,一直未有突破性进展,即便如此,它也只是对付“暗网”的一小部分。
  
  饭要一口一口的吃。在我看来,当前要解决的所谓“暗网”,主要是针对的是Dynamic content(动态内容),这也是各大搜索引擎现在工作的重中之重。对此,主要有两大策略——主动策略和被动策略。
  
  这就好比有一座未知的宝藏,现在想要得到它,一种方法是拿着藏宝图,将其找到,发掘出来,这就是所谓“主动”;另一种方法是让宝藏“自己显露出来”,等待开发。
  
  主动策略:优化数据分析,优化算法,从堡垒的外部攻破。
  
  Google的Jayant Madhavan在VLDB 2008会议上作了题为“Google’s Deep-Web Crawl”的报告,其中详细阐述了Google的一些策略,其核心就是信息模板(informative templates)。其实理解起来很简单,可以叫做“混水摸鱼”,多摸几次,反复总结,就能最大限度接近于知道摸到的是鱼还是石块。
  
  2008奥运期间,百度也曾经针对大量相关关键词进行处理优化,整合各种状态的内容信息,取得了很好的效果。
  
  被动策略:让网站方参与到“暗网”的显现中来,主动“洗白”。
  
  这是一种迂回的策略。陈佼在博文中提到的One box、Subscribed Link、Search Monkey等都属于这种,它是通过开放的API允许用户主动将结构化的数据提交上来。百度公布的搜索开放平台(http://open.baidu.com )也是其中的先驱之一。
  
  这种策略很讨巧,但它不仅是个单纯的技术问题,更是个博弈问题。据我所知,韩国的很多互联网公司都拒绝google的爬虫,很多报纸网站也对google的抓取深恶痛绝,并别提主动协助了。
  
  对比解析搜索巨头应对“暗网”的策略
  
        在做对比解析之前,有一点我想表达:在应对“暗网”方面,世界各地的搜索引擎几乎是同时起步的,或许走的路子有一些差异,但殊途同归,这一点尤其值得肯定。
  
        Google:霸道而独断
  
        如果你仔细解读一下Google’s Deep-Web Crawl报告就会明白,Google依然以其引以为傲的算法来针对“暗网”,已经出来的产品如onebox、Subscribed Links,乃至Google base等。
  
        Google很懂技术,但树大招风,如果不懂得平衡各方利益,天才容易寡助。比如Google base这个产品,架子很大,但生态链太短,目前的发展看来并不乐观。我倒是建议Google考虑收购一下现在正火的Wolfram Alpha,从本质上来说,这也是一个对付“暗网”的产品。
  
        Yahoo:简单的事情复杂化
        Search Monkey是Yahoo对付“暗网”的拳头,很开放,很自由,很有颠覆感,但与Google习惯用技术眼光来解决问题一样,Yahoo要面对的是无序和混乱的可能。
  
        之前与业内朋友交流,大家有一个共识,Yahoo是一家非常强悍的公司,拥有无数天才,但它常常将简单的问题复杂化,造成失控。在Search Monkey中,Yahoo开放了图片、视频、游戏等大量内容,展现的权限都交给用户决定,也是基于这一思维。
  
        百度:聪明而谨慎
  
        百度的搜索开放平台很有意思,它有3个非常突出的特点:
  
        其一,开放却又限制。思维上是开放的,面向的也是所有的网站,但在数据内容和网站的资质上,它又有严格的审核,以保证搜索体验。
  
        在哲学中有一句话说:自由不是绝对的,而是相对的。百度的中庸在搜索开放平台上反映得淋漓尽致。
  
        其二,注重利益的均衡。和Google、Yahoo不同,百度的策略注重生态平衡——搜索引擎、网站、用户。它的机制是:百度为用户提供更好的搜索体验,把控资源,让更优质的网站内容得到展现,而网站从中攫取品牌价值和流量的提升。
  
        其三,谨慎对待一切。我和一些站长就搜索开放平台进行过交流,在提交审核的数据中,百度偏好“确定性信息”和“数字性信息”,而对一些模棱两可、非确定性文字信息几乎都拒之门外,从中可以看出百度搜索开放平台的谨慎。
  
        三大巨头都是将搜索引擎从“可读”变为“可写”,但不同的思维方式决定了不同的处理方式。不管如何,在应对“暗网”的战争中,信息的使用者才是最大的赢家。
  
        最后送一句话给致力于突破“暗网”的搜索业界朋友们:人类若能妥善地搜寻资料,实在已经改变世界了。与大家共勉。

相关文章推荐

搜索引擎核心读书心得2:暗网抓取

所谓的暗网在上篇文章已经简单介绍,是指目前搜索引擎爬虫按照常规方式很难抓取到的网页。在网络中很多网站的内容是以数据库方式进行存储的,而搜索引擎爬虫依赖页面中的链接关系发现新页面。比例携程网中的机票数据...
  • ljp1919
  • ljp1919
  • 2015年08月12日 20:43
  • 2312

未来搜索引擎应提供问题答案而非链接(转载)

原文链接:http://tech.chinaunix.net/a2011/0508/1187/000001187632.shtml 导语:科技博客TechCrunch周六刊登了雅虎搜索产品高级副总裁、...

如何让百度等搜索引擎收录转载或伪原创的内容

转载的模式,对于部分站长来说,会配置制止搜索引擎收录,也即是在文章里加之nofollow属性,还有一种便是伪原创内容,大话说,部落也每每性的转载,固然,网站中的伪原创也不在少数,只不过绝大一小部分,都...

[转载]中文搜索引擎技术揭密:中文分词

前言 信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、yisou、中搜等大型搜索引擎一直人们讨论的话题。随着搜索市场价值的不断增加,越来越多的公司开发出自己的搜索引擎,...

搜索引擎技术之概要预览(转载自http://blog.csdn.net/v_july_v/article/details/6827391)

前言     近些天在学校静心复习功课与梳理思路(找工作的事情暂缓),趁闲暇之际,常看有关搜索引擎相关技术类的文章,接触到不少此前未曾触碰到的诸多概念与技术,如爬虫,网页抓取,分...

lucene索引word/pdf/html/txt文件及检索(搜索引擎) 转载于http://blog.csdn.net/shiljcn/article/details/6179479

因为lucene索引的时候是将String型的信息建立索引的,所以这里必须是将word/pdf/html等文件的内容转化问字符型。 lucene的jar包自己去下载。 首先是建立索引的代码: ...

【转载】大前端》浅析搜索引擎收录原理

搜索引擎爬虫,蜘蛛,机器人是什么?-搜索引擎收录原理 搜索引擎为了能够让自己的数据库足够的强大,足够的全面,不分昼夜的在网络上寻找新的,更可靠的信息,但是随着网络时代到来,网络信息爆炸式的 整张,人...

[转载]搜索引擎的发展趋势

    搜索引擎是伴随着互联网的发展而不断发展的,由于互联网已经成为人们学习工作和生活中不可缺少的平台,几乎每一个上网的人都会使用搜索引擎,围绕搜索已经形成一个重要的产业链,有些媒体甚至造出了“搜索经...

搜索引擎竞价排名需注意的几个地方 - A5站长网

关键词排名是一个很难搞的东西,随着网络的飞速发展,搜索引擎营销变成常用并且实用的一种网站推广方式,更多的竞价排名也就一一呈现出来,他可以让潜在客户通过搜索关键字找到你的网站,为企业增加销售及营利,也为...

北大天网搜索引擎TSE分析及完全注释[2]路过查询处理程序

由上一篇文章[原]自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[1]寻找搜索引擎入口 我们可以知道整个程序是从TSESearch.cpp 中的main函数开始的我们重点一下这段代码 /...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:【转载】搜索引擎如何对付“暗网”
举报原因:
原因补充:

(最多只允许输入30个字)