内存搜索设计实现

 今天项目主管给了我一个全新的项目任务,做一个小型的基于内存的搜索应用,这个项目的目的是为了适应我们当前一个重点项目的需求-基于tag的快速搜索,虽说我们已经使用了公司的一套搜索引擎,不过其具有通用软件的一些弊端,比如配置困难,对需求的修改响应不及时,以及效率不够高.

我本人目前对搜索还是个门外汉,根本不知道该怎样入手,于是项目主管把我交给了另一个搜索项目组进行学习,呵呵,于是有了我最近的blog主线------搜索开发设计.

搜索该词现在已是最最热门词汇之一,在做这个项目之前我对搜索技术也是心有向往,但是总觉得信心不足,感觉自己很难成为搜索人才的一员,不过这次是赶鸭子上架,不行也得行了,好在今天跟搜索项目主管沟通了一下,我这个项目很简单(他说的),很容易实现(算法是现成的模块),我才稍微放下点心,要不今年年终奖就要泡汤了啊.

下面是该位给我说的系统框架:

Index部分

1)segment(分词,预处理部分)

2)顺排表(根据词典)

3)倒排表

4)生成倒排表文件

顺排表(文档到词汇的二维表):doc:w1,w2.......

倒排表(词汇到文档的二维表):w1:doc1,doc2

search部分

1)segment(search string 分词)

2)查找所对应的字典id

3)搜索倒排表

4)结果的排序(相关性)和逻辑运算(或 并)

看起来是不难吧,呵呵,那我该怎样动手了,明天再说!!!!