运用打分和Boost优化Elasticsearch搜索结果

来自Optimizing Search Results in Elasticsearch with Scoring and Boosting 作者：Neil Alex 2015/03/18

---

虽然es提供了高效的打分函数，但是在电商环境下还是不够用。大多数的用户还是关注排在前几名的结果，所以有灵活的打分机制尤为重要。如果能根据用户的需要展示搜索结果，那么转化率就尤其可观了。

本文中，我们先来看看es默认的评分配置，然后再定制几个评分。本文介绍到的内容可以帮助你做一个用户定制结果的评分。

---

es默认采用了lucene的评分公式，用正的浮点数_score来表示相关得分。这个_score 越高，文档的相关性也就越高。一个查询子句会为每个文档生成一个_score，计算取决于查询子句的类型。

查询子句服务于不同的目的：模糊查询的_score
取决于原始的搜索词与发现的词的拼写的相似度。词的查询会考虑查到的词的比例。一般情况，相关度都是指计算全文的field的内容与全文query串的相关度。

es中用的标准的相似度算法就是词频/逆文档频率，即tf/idf，考虑了如下要素：

要素	描述
tf	词频
idf	逆文档频率
coord	匹配到多个词的处理策略
lengthnorm	短field的处理策略
querynorm	query标准化因素
boost(index)	index阶段的boost要素
boost(query)	query阶段的boost要素

上述要素决定了elasticsearch中的决定文档得分的处理要素。

词频（TF）：词频是对一个词在文档的内容中出现次数的计量。如果出现次数多，得分就高，该文档与查询相关的可能性就高。

逆文档频率（IDF）：逆文档频率是对搜索的词在文档集中出现的频率的衡量。如果一个搜索词在很多文档中都普遍的出现，（这个词）的得分就比较低。那种稀有词如果在文档中频繁出现，会把评分值boost的较高。

共现因子（Coord）：共现因子是对出现多个搜索词的衡量，query中的词共现的越多，整体的得分就越高。比如搜索这两个词“woolen（羊毛）”&“jacket（夹克）”。两个词放在一起搜也没啥问题：在内部会转化为bool查询，每个词都会单独的去搜索。两个词都包含的文档比那些只包含一个词的文档得分高。如果你给query的权重是2，那么两个词都包含的词的coord是2*2 = 4。只包含一个词的coord权重就是2 * 1 = 2。

长度标准化（lengthnorm）：会衡量短field的匹配，给出更高的权重。

译者：lucene考虑了文章的长度，因为考虑到更长的文章会包含更多的词，从而通过lengthnorm进行标准化。所以lucene会跟偏向于短标题。
比如：title，短文本的标准化因子0.5，而较长的标题可能只有0.01。所以标准化因子可能极大的影响得分。

比如，如果搜索词在title中，那它比在content中更相关，得分更高。

query标准化（querynorm）：虽然不直接与文档相关度相关，querynorm在你对query类型的组合时，可以对query进行衡量。

Index时boost（index time boost）&Query时boost（query time boost）：可以在索引时和查询时进行boost。对特定的field进行boost时，会让得分的计算更加明显。

Lucene的评分计算：默认的es的得分算法是布尔检索与空间向量模型的组合。通过布尔模型的文档会通过空间向量模型进行下一步的评分计算。

得分公式如下：

$score(q, d) =$

$$queryNorm(q) * coord(q, d) * \sum_{t \in q}(tf(t \in q) * idf(t)^2 * t.getBoost() *norm(t, d))$$

我们来看看我们如何用这些要素来计算一个文档的得分，首先我们先来看看调试es中query的工具。打开query中的explain，你就可以得到上述的得分因素中的每一个详细解释，以及该文档的最终得分。我们不推荐在最终的产品中使用这个结果，但是你在开发中debug，调整query时还是很有用的。

调整_score 最有用的工具就是function_score。

实际上es为每个匹配提供了很多得分计算方法。可以使用custom_score 以及脚本来获取特定数字域的得分。例如：

“script”:
“_score * doc[‘my_numeric_field’].value”

我们这里my_numeric_field 乘上默认的_score进行加权。也可以使用custom_filers_score_query ，可以应用过滤器来限制结果集，在用脚本或者boost来为过滤后的文档分配一个boost。相似的也可以应用custo