搜索主要用到了三个文件:diskdata、docinfo和forwardindex。
diskdata文件是倒排文件,用于求交。
docinfo是doc的一般属性信息(pagerank/publish_time/颜色签名/尺寸等),用于排序前的剪枝(就是根据request信息简单过滤)。
forwardindex是正排信息,用于求更重rank。
排序时要整合docinfo和forwardindex信息,产生rank_doc。
频繁使用的数据当然是放在内存里最好,这里将docinfo和forward文件装进了内存,diskdata放在硬盘中(可能前面entry部分在内存中),随用随取。什么数据放在内存,要和使用场景结合。
diskdata文件是倒排文件,用于求交。
docinfo是doc的一般属性信息(pagerank/publish_time/颜色签名/尺寸等),用于排序前的剪枝(就是根据request信息简单过滤)。
forwardindex是正排信息,用于求更重rank。
排序时要整合docinfo和forwardindex信息,产生rank_doc。
频繁使用的数据当然是放在内存里最好,这里将docinfo和forward文件装进了内存,diskdata放在硬盘中(可能前面entry部分在内存中),随用随取。什么数据放在内存,要和使用场景结合。