elasticsearch：查询评分排除某些查询条件constantScoreQuery

问题

• 我们的业务场景对排序要求较高，要求查询结果要按照相关度和信息时间严格排序
• 对于深分页和查询效率问题已经使用search_after实现，有兴趣可以看下
• 对于不同shard的同样的数据，查询得分不同，已经通过DFS_QUERY_THEN_FETCH实现，有兴趣可以看下
• 现存问题是，对于标题、内容、时间皆相同的文章，根据关键词和其他条件查询后，发现这两篇文章并未排列在一起，而是 出现在第1页和第2页
• 查看了查询评分结果，发现这两篇文章得分并不一样，一篇文章的得分明显多余另一篇

原因

• 后来对检索条件删减了一部分，发现查询得分相同了，加上某个查询条件后，得分不同
• 导致评分不同的词查询条件是一个must + 多should某字段的查询，类似mysql的in查询
• 和其他查询条件一样，它们都是作为筛选条件，但是其他筛选条件主要是排除数据，只有这个筛选需要命中多个值，导致同样的数据，因为这个字段不同排分不同
• Elasticsearch是一个基于Apache Lucene™的开源搜索引擎，而Lucene使用TF/IDF计算相关度算法。对于某个值在shard里出现的频次不同，得分不同。
• 这就导致虽然该字段term是in查询完全匹配，但是命中后，得分是不同的

TF: Term Frequency的缩写，表示该term在当前document出现的频率
IDF: Inverse Document Frequency缩写，表示该term在所有文档中出现的频率

解决

• 根据我们的业务需求，相关度排序，只关注标题、正文等字段命中，对于类型字段，只需要作为筛选条件，而不需要参与评分
• elasticsearch提供了一个constantScoreQuery，满足上面的需求
• 可以先把不需要参与评分的in查询构造一个bool查询，再使用constantScoreQuery包装起来

// in查询
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
...省略
...
// 包装一下
ConstantScoreQueryBuilder constantScoreQueryBuilder = QueryBuilders.constantScoreQuery(boolQuery);
// 后面可以直接用了

补充

注意：

• 对于只需要作为过滤条件的，可以使用filter，而不是query，这样才是正确的方式