搜索引擎之倒排索引1

索引是短小的检索信息的信息

倒排表：存放在内存中的能够追加倒排记录的倒排索引

临时倒排文件：存放在磁盘中，以文件形式存储的不能追加倒排记录的倒排索引。

最终倒排文件：归并了临时倒排文件的倒排索引。

全文检索：细化了信息检索的粒度

1.文档的全部文字参与索引；

2.检索结果能够提供检索词出现的实际位置。--标红

文档：结构化的网页对象

文档编号：网页编号

1.任何一个文档在其生命周期中仅有一个编号；

2.任何两个不同的文档的编号不同；

3.编号在计算中尽可能高效--空间占用越大，内存工作集也就相应变大，内存和对换区的换入换出机会也增大。

url 1&2--url字符串签名--32字节的MD5签名

游程编码--编号长度压缩

1.差分编码：

1.1好处：变得较小；

1.2坏处：需从头至尾取出所有数据--cpu计算，维护数据完整性

2.变长编码：字节对齐，解码速度快，节约存储，减少了磁盘io次数。

2.1字节对齐的编码方式，将整数转成二进制，以7位为单位对其分段，每段段尾加1位成8位，末尾为0表示该段是最后一段，为1表示还有后续段

压缩率更高的rcode

倒排索引：按关键词创建的索引

1.命中hit：索引词在文章中的位置和字体等

2.正排索引 

3.倒排索引

正排索引：--以文档编号为视角看待索引

1.localid：一个文档的局部编号

2.wordId：文档分词后的编号

3.NHits：某个索引词在文档中出现的次数

4.HitList变长字段：某个索引词在文档中出现的位置，即相对于正文的偏移量--变长编码

倒排索引--以关键字作为主键的索引结构

1.词典

2.记录表--分块存放，块内按DocId升序存放，块间按pagerank值降序存放