优化索引大小,主要有倒排、词表、词向量、正排等几个方向,类似词表可以使用lucence中压缩率更高的词典树(共前缀、共后缀),还可以考虑停用词、词频过滤等,词向量主要是标红用,可以采用实时计算的方式去掉词向量,节省存储。正倒排的优化方向更多一些,类似压缩、connect、编码等。
搜索引擎 - 索引大小优化
最新推荐文章于 2021-12-10 16:30:12 发布
优化索引大小,主要有倒排、词表、词向量、正排等几个方向,类似词表可以使用lucence中压缩率更高的词典树(共前缀、共后缀),还可以考虑停用词、词频过滤等,词向量主要是标红用,可以采用实时计算的方式去掉词向量,节省存储。正倒排的优化方向更多一些,类似压缩、connect、编码等。