文档列表做析取(or操作)优化

      在搜索引擎中，我们对于分词后的term进行查询，对得到的结果往往采用合取（and 操作），这种方式效率高，同时得到的结果也比较的少，但是，在小数据规模上，也往往出现无结果现象，影响召回率，所以有些时候还是得使用析取操作。

      但是析取操作效率低，同时产生的结果集比较的多，对于后面的算分、排序等都有影响，所以很有必要在这个过程中作写优化工作。

      为了方便，我们举个列子，查询词是   ”dq的东西怎么样“ ，经过分词后的结果：  dq / 的 / 东西 / 怎么样 ,分成了4个词，我想到的几个优化的工作

 

      一  term 个数

      在一个doc中，查询term出现个数大于一定个数的才进行召回，比如，上面的查询中有4个term，那么我们可以限定doc中term出现至少2次的菜召回，这样可以减少很大的量。

 

      二 term进行weighting

      每个查询词的重要性不一样的，我们可以对每次term计算它们的重要性，再根据出现term计算一个分数，大于一定分数的菜召回。 比如上面查询词 ， 有a和b两个doc, 在a中出现了 dq,  在 b 中出现了 “的”和 ”东西“ ， 表面上看，b中出现了两个term，会重要些，单实际a更加的重要，这次通过weigting能解决

  

       

      暂时想到上面几点，大家有知道的，希望能和我分享下，谢谢~