建立索引

1. 索引是指倒排表

两种算法如下：

a. 将termid--docid 进行排序，termid为主键，docid为次键，然后建立termid到docid的倒排，例如：

I --- 1                    AB ---3                       AB[1] ---3

I ----2          ---->   I -----1  --------->       I[2]   ---1 ,2

AB --3                    I -----2

 

b.创建一个集合，将termid加入到集合，如果已经存在，则将docid进行append，否则加入，最好将集合进行排序

 

2. 如果索引非常大一致不能全部放在内存里则有两种思路

算法1：

 

 

 

即先读入一块放入内存，进行排序，然后输出，最后将硬盘上的多块进行merge

 

算法2.  根据set的算法，当set满时输出到硬盘，最后也是一个merge的算法

 

 

如果索引更大，一台机器不能满足，则需要分布式，分布式有两种，根据term和文档，根据term的分布式如下:

采用map-reduce， 根据上面的算法1， map从文档获取term，并将term排序输出，reduce将term进行合并分割到一台机器上。

 

根据文档来分则比较简单：不同的文档放在不同的机器上进行上面的单机算法

二者的比较：按term分能够获得更高的并发性（并发用户的查询被分成不同term，不同term直接是并发的），但需要合并不同term时要在节点间传递更多的内容，同时由于term在问的那个分布的不均，负载均衡比较困难，因为term有热门term，不同的机器承受的压力不一样。因此实际中往往采用的按文档分布