搜索技术总结整理

转载 2007年10月14日 23:45:00
原贴:http://hunteagle.javaeye.com/blog/118548

搜索技术总结整理 2006/12/05 

作者:Hontlong from Hour41 (www.hour41.com)

学习搜索有一段时间了,为了复习巩固和提高,特把学习的结 果总结一下。本文章搜索只特指小型搜索系统。之所以特指是小型系统,是因为大型小型搜索系统虽然整体处理过程大体相似,但整体架构和要处理的数据量和响应 速度是密切相关的,百万量级的和十亿量级的搜索系统是不可同日而语的。

搜索系统处理大体分为:蜘蛛、切词、索引、检索,下面逐个的描述。

1. 蜘蛛

蜘蛛是用来抓取网页的。所谓的抓,其实也就是通过 socket向http服务器发送post或者get请求,服务器根据你的请求把页面送给你的过程。大家通常用的IE浏览器就是要先做这个工作,然后在根 据返回的Html源码生成你看到的网页。蜘蛛当然不需要去生成网页给人看了,它只是把html存储起来给其它程序用。我看到有人问如何写一个下载动态网页 的蜘蛛,其实动态页面和静态页面对于蜘蛛是一样的,都是发送请求和接受,没有实质区别。

搜索技术中,蜘蛛看起来是最容易的。大家学习了一个语言和熟悉TCP/IP后都可以编写一个下载网页的程序了。但是,要写一个适应性强的蜘蛛却是相当难的,因为网络环境太过于复杂,你总是很难想象到别人会发什么给你,也就是蜘蛛要有很强的例外处理能力。最常见的问题是:

网路故障 造成蜘蛛抓取超时,没有抓取到网页或者抓取不全。

网站链接 有些网站对错误的链接或者蜘蛛使用的ip,返回一个很怪的页面,例如它的内部错误信息。

页面问题 页面问题中网页编码是首要问题,各个网站用的编码五花八门,需要你判断和处理合理的编码。有朋友会问,http协议头信息中有charset,html中 也有charset,可以方便的判断编码,没错,这是主要的判断方式,但是,如果这两个地方都得不到charset信息呢?

其次,要提高蜘蛛的效率和速度,这就要涉及到待抓取url的权值值计算,因为并不是每个网页对我们来说都是同等重要的。由于网络的无边无际,所以采用广度搜索和深度搜索都不可取,只有采用种权值计算公式采用减枝方法做有效遍历。也有只依赖权值来决定搜索目标的。

最后是蜘蛛的性能。也就是并行处理方式。单个蜘蛛处理能力有限制,因此多采用多线程和多进程的方法,多个蜘蛛同时运行。另外,采用此方法的另一个重要原因是,网络速度是蜘蛛程序的瓶颈。

2.切词

切词仿佛是最简单的。采用最流行的倒序最大前序最大切词方 法基本上就够用的了。但是切词也是让我最迷惑的东西,什么是切词?采用上述方法切出来的并不是标准的词语,更像是字符和分割组合,你查一下百度或者 googel就可以看到它们的切词实现效果。切词程序真的不是在切词啊。

切词是深入处理中文信息的基本模块。在自然语言分析中也有 切词,切词的基本方法和过程也基本相同,但我觉得在两者的是指导思想有些不一样。自然语言的分析很在意切词的准确性,而索引切词确更注重切词结果的覆盖情 况。自然语言处理在切词后,需要词性标注和词法语法分析,因此必须切词准确,对新词、命名实体等的处理相对要求要高,而索引切词后就是做倒排索引了,只要 能保证索引时切词和查询时的切词是同样的,基本上就可以正确使用索引,只是为了索引效果,需要尽可能的在符合词语的自然分段的基础上,把词的切割粒度定位 在在效率和灵活性的一个调和位置,对新词和命名实体的识别就不那么看重。例如:北京大学,在第一中切词中会切割成一个词语,而在后一种切词中,为了保证能 使用北京也可以搜索到,会被切割成北京和大学两个词。也有为了效率而做复合索引的,例如把北京大学切割为 北京大学、北京和大学这3个词,方便用户使用任何一个熟悉的词都能搜索到。

通过上面的讨论,分析到切词系统实际上是根据实际应用而不 同的。就索引切词来说,切词的准确性并不重要,切词后的词能够快速准确找到索引,才重要。那么怎么切才能让后面的索引做的快速而且准确呢?想一想,我们为 什么要切词呢,即便不切词,我们也可以在字上做索引,也可以在字节上做索引,开源搜索醒目lucence默认处理中国语言的方式就是双字切词,两个字两个 字的切,例如:北京大学,切割后为,北京 京大 大学。但要讲到效率,根据搜索到的资料数据比较,还是基于词库的自然词切割是效果较好的。我想原因是:1,切割的完整性,不会遗漏词语,也不会有太多废 词,例如 京大。因为使用索引查询的人的查询输入,也基本符合中文语法,基本不会出现 京大这样的词,相对的2字切词的处理方式就会产生废词,就要多做和维护一个基本用不到的索引。2,切割的后的词检索的效率,如果基于字或者字节做索引,虽 然中国总数有2万多,但是常用的只有4~6千,要在这个范围内映射千万量级以上的文档,索引就比较大,每个字要对应万量级的文档,同时后期的归并和条件过 滤处理工作量也比较大,而对应的词是中文语法结构的基本单位,常用词有5~10万,足以承担亿量级的文档索引分担。做了一段时间的索引程序后,我的感觉是 词长在2~4之间比较好。

这里讨论的罗嗦的原因是为了比较说明索引切词并不是严格意 义上的切词,只是融合了切词逻辑的字符切割。这种切割字符基本符合词语单位,我想是有必然的潜在的语言规则。我在学习切词时有走过弯路,总想把词切割的准 确些,再准确些,结果程序效率下降,准确性也不能有明显提高,现在觉得,如果不涉及更深层次额语义处理,并不必要。

3.索引

对于学习过数据库,熟悉数据库基本原理的朋友们来说,做索引并不是很困难的事。现有的索引系统基本是采用倒排索引。基本含义就是在一个文件中记录下一个词在哪篇文章哪个位置出现,以便解析用户输入后可以直接读取对应的文章id,把对应的文章择要提取出来显示给用户。

我认为索引难做的一点是索引的维护,包括插入和删除。而索 引的更新(update),通常索引系统把它转化为删除(delete)和插入(insert)。信息的变更要尽可能快的反映到索引中,这个对索引系统的 压力还是比较大的。想一下数据的删除过程,删除一片文章,要知道这篇文章都在哪些词的索引中,要逐个的清理数据,而这个数据清理,通常为了性能,又不是真 实的清理,只是把文章对应的数据抹去(清零或做特定标记),这样索引中就像是留下了一个洞,时间一场,索引也就千疮百孔了,所以索引系统需要根据一定的算 法计算索引中的空洞比率,在适合的条件下,整理索引,剔除空洞。

另外,插入索引也需要特别注意,简单的索引插入当然没有问 题,因为文档id在索引中一般是排序的(整体排序或者分段排序),这样方便检索时快速处理。因此大批量或者频繁的插入时,就会有性能问题。通常的解决方案 是采用大小索引的办法,新插入的索引并不直接插入到大索引中(数据处理量相对大),而是临时写入小索引文件,而检索时,从这两个索引中取值,然后归并就可 以了。

另外,索引数据,为了提高读写速度,一般是经过简单压缩的,这时也就涉及到数据安全问题,为了避免万一问题,也可在代码中增加校验功能,保证数据完整,即便某个地方因计算错误而有问题,也要把他限定在最小范围内。

4.检索

我很怀疑google的pagerank计算公式,据说有超过一千的影响因素,这在我简单的脑袋里是不可想象的。我看google黑板报 (google的中文官方blog)里曾经说到,简单就是最美的,公式的思想好像与这个相违背。总之pagerank的思想就是:我重要,你和我有友好关 系,那么可以简单的推到出,你也重要。根据这样的思想,我们可以创建自己的计算公式。

我比较关心检索的组合,例如检索:测试 软件 程序员 -网站  。这个在检索时会处理成一个逻辑结果,好像,(a and b and c ) - d 。大家都知道这就是集合操作,熟悉数据库的朋友可以想到,这个很像数据查询语句的条件,没错,为了减少数据库和索引操作,分析和优化查询是很有必要的,处 理过程完全可以借鉴数据库检索语句分析和优化过程。

总结一下,我写的这些是索引的入门。我对索引的理解是。根 据处理的数据类型和数据量,索引系统有很大的不同。我记得百度掌门人说过,搜索人人可作,但要做大做好,就很困难了。具体索引的实现方式,要比描述的复杂 写,有兴趣的朋友可以现学习lucence,非常棒的开源java程序,也有.net版本的开源。我对lucence的感觉是,它很经典,它的索引文件有 点烦琐,它的检索方式很值得学习。

 

搜索技术总结整理

学习搜索有一段时间了,为了复习巩固和提高,特把学习的结果总结一下。本文章搜索只特指小型搜索系统。之所以特指是小型系统,是因为大型小型搜索系统虽然整体处理过程大体相似,但整体架构和要处理的数据量和响应速...
  • javatalk
  • javatalk
  • 2007-11-29 13:04:00
  • 607

MySQL数据库知识整理归纳

数据库创建需要考虑的内容
  • cz28274815
  • cz28274815
  • 2014-09-04 22:21:13
  • 818

研究和选用搜索算法的原则

  • 2009年05月13日 00:35
  • 355KB
  • 下载

统计学知识点总结

商务统计学知识点简单总结
  • JavaChaoCo
  • JavaChaoCo
  • 2016-03-19 13:28:27
  • 1436

如何总结和整理学术文献

来自知乎:https://www.zhihu.com/question/26901116/answer/39253382 --------------------------------------...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-01-16 18:36:11
  • 1988

Sql Server 索引总结(整理)

一、数据页和索引页SQL Server 数据页和索引页都是 8K 字节大。SQL Server 数据页包含除了文本和图像数据以外所有与表的某一行相关的数据。对于文本和图像数据,包含与文本/图像列有关的...
  • junmail
  • junmail
  • 2006-12-14 13:26:00
  • 1122

js事件总结之概述

何为事件 说到事件,总会想到何为事件,我的理解事件就是由于用户的某些行为使浏览器产生了交互、响应。我查了百度百科,它说:“当文档、浏览器、元素或与之相关的对象发生某些有趣的事情,web浏览器就会...
  • qq_29319817
  • qq_29319817
  • 2017-03-03 20:08:21
  • 203

rman备份总结

1. 从数据库的状态来看,可以分为两种:数据库mount备份/数据库open备份。 2. 是否做归档重做日志文件:noarchivelog模式/archivelog模式      noarchiv...
  • tom555cat
  • tom555cat
  • 2015-05-04 11:39:10
  • 302

行列式的基础知识整理

行列式基本知识
  • march_c
  • march_c
  • 2017-12-31 21:54:50
  • 63

知识整理提纲

下面是最近学习的知识的整理首先是一些字符串处理函数。由于没有使用正确的字符串处理函数,自己走了一些弯路。然后是LPSTR,LPCSTR,LPWSTR,LPWCSTR,PSTR的区别。然后是获得Unic...
  • ThinkingAboutLife
  • ThinkingAboutLife
  • 2008-05-25 20:51:00
  • 413
收藏助手
不良信息举报
您举报文章:搜索技术总结整理
举报原因:
原因补充:

(最多只允许输入30个字)