参考:elasticsearch中best fields策略dis_max和tie_breaker详解
概念
-
常规multi-field搜索结果分析
-
dis_max参数设置
一、为帖子数据增加content字段
POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"content" : "i like to write best elasticsearch article"} } { "update": { "_id": "2"} } { "doc" : {"content" : "i think java is the best programming language"} } { "update": { "_id": "3"} } { "doc" : {"content" : "i am only an elasticsearch beginner"} } { "update": { "_id": "4"} } { "doc" : {"content" : "elasticsearch and hadoop are all very good solution, i am a beginner"} } { "update": { "_id": "5"} } { "doc" : {"content" : "spark is best big data solution based on scala ,an programming language similar to java"} }
二、多字段搜索(multi-field搜索)
1、搜索title或content中包含java或solution的帖子
GET /forum/article/_search { "query": { "bool": { "should": [ { "match": { "title": "java solution" }}, { "match": { "content": "java solution" }} ] } } }
2、结果分析
期望的排在第一位是doc5,结果是doc2,doc4排在了前面。原因如下:
计算每个document的relevance score的方式是:每个query的分数,乘以matched query数量,除以总query数量
算一下doc4的分数
{ "match": { "title": "java solution" }},针对doc4,是有一个分数的,假设是1.1
{ "match": { "content": "java solution" }},针对doc4,也是有一个分数的,假设是1.2
所以是两个分数加起来是2.3,matched query数量 = 2,总query数量 = 2,计算的分数就是2.3 * 2 / 2 = 2.3
算一下doc5的分数
{ "match": { "title": "java solution" }},针对doc5,是没有分数的
{ "match": { "content": "java solution" }},针对doc5,是有一个分数,假设是2.3
matched query数量 = 1,总query数量 = 2,计算的分数就是2.3 * 1 / 2 = 1.15
通过计算发现:doc4两个field匹配到一个关键词,分数反而高,doc5一个field匹配到两个关键词,分数反而低了,这样不符合我们的预期。
三、best fields策略(dis_max参数设置)
best fields策略,就是说,搜索到的结果中,如果某一个field中匹配到了尽可能多的关键词,那么就应被排在前面;而不是尽可能多的field匹配到了少数的关键词排在前面。
dis_max语法,直接取多个query中,分数最高的那一个query的分数即可。
{ "match": { "title": "java solution" }},针对doc4,是有一个分数的,1.1
{ "match": { "content": "java solution" }},针对doc4,也是有一个分数的,1.2
取最大分数,1.2
{ "match": { "title": "java solution" }},针对doc5,是没有分数的
{ "match": { "content": "java solution" }},针对doc5,是有一个分数的,2.3
取最大分数,2.3
所以doc5就可以排在更前面的地方,符合我们的需要。
语法:
GET /forum/article/_search { "query": { "dis_max": { "queries": [ { "match": { "title": "java solution" }}, { "match": { "content": "java solution" }} ] } } }
另一种写法:结果是一样的。
GET /forum/article/_search { "query": { "dis_max": { "tie_breaker": 0.7, "boost": 1.2, "queries": [ {"bool": {"should": [ {"match": {"title": "java solution"}}, {"match": {"content": "java solution"}} ] } }] } }
tie_breaker的使用原因
dis_max,只是取分数最高的那个query的分数而已,完全不考虑其他query的分数,这种一刀切的做法,可能导致在有其他query的影响下,score不准确的情况,这时为了使用结果更准确,最好还是要考虑到其他query的影响,使用tie_breaker将其他query的分数也考虑进去
tie_breaker参数的意义,将其他query的分数乘以tie_breaker,然后综合考虑后与最高分数的那个query的分数综合在一起进行计算,这样做除了取最高分以外,还会考虑其他的query的分数。tie_breaker的值,设置在在0~1之间,是个小数就行,没有固定的值