- boost权重的控制
- 基于dis_max实现best_fields进行搜索
- 基于tie_breaker参数来优化dis_max搜索效果
- 基于multi_match语法来实现dis_max+tie_breaker
- 基于most_fields策略进行搜索
- 使用copy-to去解决cross-fields带来的弊端
测试数据:
POST /forum/article/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"title" : "this is java and elasticsearch blog"} }
{ "update": { "_id": "2"} }
{ "doc" : {"title" : "this is java blog"} }
{ "update": { "_id": "3"} }
{ "doc" : {"title" : "this is elasticsearch blog"} }
{ "update": { "_id": "4"} }
{ "doc" : {"title" : "this is java, elasticsearch, hadoop blog"} }
{ "update": { "_id": "5"} }
{ "doc" : {"title" : "this is spark blog"} }
POST /forum/article/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"content" : "i like to write best elasticsearch article"} }
{ "update": { "_id": "2"} }
{ "doc" : {"content" : "i think java is the best programming language"} }
{ "update": { "_id": "3"} }
{ "doc" : {"content" : "i am only an elasticsearch beginner"} }
{ "update": { "_id": "4"} }
{ "doc" : {"content" : "elasticsearch and hadoop are all very good solution, i am a beginner"} }
{ "update": { "_id": "5"} }
{ "doc" : {"content" : "spark is best big data solution based on scala ,an programming language similar to java"} }
POST /forum/_mapping/article
{
"properties": {
"sub_title": {
"type": "text",
"analyzer": "english",
"fields": {
"std": {
"type": "text",
"analyzer": "standard"
}
}
}
}
}
POST /forum/article/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"sub_title" : "learning more courses"} }
{ "update": { "_id": "2"} }
{ "doc" : {"sub_title" : "learned a lot of course"} }
{ "update": { "_id": "3"} }
{ "doc" : {"sub_title" : "we have a lot of fun"} }
{ "update": { "_id": "4"} }
{ "doc" : {"sub_title" : "both of them are good"} }
{ "update": { "_id": "5"} }
{ "doc" : {"sub_title" : "haha, hello world"} }
POST /forum/article/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"author_first_name" : "Peter", "author_last_name" : "Smith"} }
{ "update": { "_id": "2"} }
{ "doc" : {"author_first_name" : "Smith", "author_last_name" : "Williams"} }
{ "update": { "_id": "3"} }
{ "doc" : {"author_first_name" : "Jack", "author_last_name" : "Ma"} }
{ "update": { "_id": "4"} }
{ "doc" : {"author_first_name" : "Robbin", "author_last_name" : "Li"} }
{ "update": { "_id": "5"} }
{ "doc" : {"author_first_name" : "Tonny", "author_last_name" : "Peter Smith"} }
1.如果我们想要搜索title中包含blog,同时java、elasticsearch、hadoop、spark只要包含都将搜索出来,但是我们希望拥有spark的评分最高,优先返回。我们可以使用boost,当匹配这个搜索条件计算relevance score时,将会有有更高的score
GET /forum/article/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"title": "blog"
}
}
],
"should": [
{
"match": {
"title": {
"query": "java"
}
}
},
{
"match": {
"title": {
"query": "hadoop"
}
}
},
{
"match": {
"title": {
"query": "elasticsearch"
}
}
},
{
"match": {
"title": {
"query": "spark",
"boost": 5
}
}
}
]
}
}
}
2.我们想搜索到title或者content中含有java或者solution的结果
GET /forum/article/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"title": "java solution"
}
},
{
"match": {
"content": "java solution"
}
}
]
}
}
}
我们想要的结果是_id=5同时在content含有java和solution的doc.但是返回的结果却不是这样。返回doc的score顺序是_id=2 > _id=4 > _id=5,计算每个document的relevance score大致过程是:每个query的分数(每一个query对应每个document,如果满足则会算出一个score,否则没有score)乘以matched query数量,除以总query数量。我们举例来说明doc4和doc5的大致评分过程。(具体的score为一个estimate time)
Doc | field | each query score | matched num | all query num | score |
---|---|---|---|---|---|
doc4 | “title”: “this is java blog”,”content”: “i think java is the best programming language” | 1.1+1.2 | 2 | 2 | (1.1+1.2)*2/2=2.3 |
doc5 | “title”: “this is spark blog”,”content”: “spark is best big data solution based on scala ,an programming language similar to java” | 0+2.3 | 1 | 2 | (0+2.3)*1/2=1.15 |
best fields策略就是让某一个被搜索的field匹配到了尽可能多的关键词作为结果返回,也就是针对多个query的搜索,直接取score最高的那一个query(也就是上述表中的doc=5中的2.3大于doc=4中的1.2和1.1)而不会考虑其他query的相关分数,如果想让搜索更相关,可以考虑下面的第3步来加入更多的score因素:
GET /forum/article/_search
{
"query": {
"dis_max": {
"queries": [
{
"match": {
"title": "java solution"
}
},
{
"match": {
"content": "java solution"
}
}
]
}
}
}
返回的结果将是我们想要的doc=5中content即包含java也包含solution的document.
3.在上述2的基础上,如果我们有两个docment针对多个query计算出来的最大score是相同的,此时我们只使用dis_max策略是无法更进一步获得更相关的doc,所以我们可以使用tie_breaker参数,来将其他匹配的query乘以一个权重来计算到总的score中。
GET /forum/article/_search
{
"query": {
"dis_max": {
"queries": [
{
"match": {
"title": "java solution"
}
},
{
"match": {
"content": "java solution"
}
}
],
"tie_breaker": 3
}
}
}
4.我们有如下的搜索,综合上面的参数来优化结果
GET /forum/article/_search
{
"query": {
"dis_max": {
"queries": [
{
"match": {
"title": {
"query": "java beginner",
"minimum_should_match": "50%",
"boost": 2
}
}
},
{
"match": {
"body": {
"query": "java beginner",
"minimum_should_match": "30%"
}
}
}
],
"tie_breaker": 0.3
}
}
}
minimun_shoule_match是用来去长尾,比如你想搜索5个关键词,但是很多结果只是匹配1个关键词,这样的结果会和想要的相差甚远,这些结果就是长尾。用minimun_shoule_match可以控制结果的精准度,只有匹配一定数量的关键词的数据才能够返回。
同样上述的搜索可以使用multi_match
GET /forum/article/_search
{
"query": {
"multi_match": {
"query": "java solution",
"fields": [
"title^2",
"content"
],
"type": "best_fields",
"tie_breaker": 0.3,
"minimum_should_match": "50%"
}
}
}
5.most_fields策略匹配更多的fields的doc将会有更大的score,对于搜索:
GET /forum/article/_search
{
"query": {
"match": {
"sub_title": "learning courses"
}
}
}
我们可以看到结果是如下图:
当我们使用most_fields来查询sub_title和sub_title.std分词和不分词的field的时候可以看出most_fields的作用:
尽管顺序没有变化(因为有其他因素的评分影响),但是匹配更多字段的doc的评分大幅度提升了
6.跨多个fields搜索同一个标识,例如搜索一个人名,可能会去first-name和last-name两个field中进行搜索,此时most_fields或者best_fields将不能够满足我们的最佳需求
对于搜索:
GET /forum/article/_search
{
"query": {
"multi_match": {
"query": "Petre Smith",
"fields": ["author_first_name","author_last_name"],
"type": "most_fields"
}
}
}
返回的结果score最高的是
“author_first_name”: “Smith”,
“author_last_name”: “Williams”
而我们希望得到的结果是
“author_first_name”: “Tonny”,
“author_last_name”: “Peter Smith”
针对多个field一些细微的relevence score算法会影响,多方面的影响是很复杂的,但是我们可以通过结果明确知道我们的结果却是被影响了
我们的解决方法是,将一个标识在跨fields的情况下,让多个field能够合并成一个field就能够解决我们的问题,比如说,一个人名会出现在first_name,last_name,现在能够合并成一个full_name就能够解决我们面临的问题
我们定义mapping来使用copy_to将多个field拷贝到一个field中去,并建立倒排索引供搜索:
PUT /forum/_mapping/article
{
"properties": {
"new_author_first_name": {
"type": "text",
"copy_to": "new_author_full_name"
},
"new_author_last_name": {
"type": "text",
"copy_to": "new_author_full_name"
},
"new_author_full_name": {
"type": "text"
}
}
}
POST /forum/article/_bulk
{"update":{"_id":"1"}}
{"doc":{"new_author_first_name":"Peter","new_author_last_name":"Smith"}}
{"update":{"_id":"2"}}
{"doc":{"new_author_first_name":"Smith","new_author_last_name":"Williams"}}
{"update":{"_id":"3"}}
{"doc":{"new_author_first_name":"Jack","new_author_last_name":"Ma"}}
{"update":{"_id":"4"}}
{"doc":{"new_author_first_name":"Robbin","new_author_last_name":"Li"}}
{"update":{"_id":"5"}}
{"doc":{"new_author_first_name":"Tonny","new_author_last_name":"Peter Smith"}}
需要注意的是new_author_full_name是一个隐藏field,直接search并不会显示出来。然后对这个field直接进行搜索即可:
GET /forum/article/_search
{
"query": {
"match": {
"new_author_full_name": "Peter Smith"
}
}
}
总结:
问题1:之前的cross_fields只是尽可能找到多的field匹配的doc,而不是某个field完全匹配的doc
解决:合并成一个field之后是最匹配的doc被先返回
问题2:most_fields无法使用minimum_should_match来去长尾
解决:合并成一个field之后,在搜索的时候就可以进行去长尾
问题3:relevance score被TF/IDF因为多个field所影响而最终不是我们期望的结果
解决:合并之后参与评分的field相对于搜有的doc匹配的数量是相同的,数据相对均匀,不会有极端的偏差
使用原生cross_fields来实现我们的需求(推荐):
GET /forum/article/_search
{
"query": {
"multi_match": {
"query": "Peter Smith",
"operator":"and",
"fields": ["author_first_name","author_last_name"],
"type": "cross_fields"
}
}
}
上述搜索条件为:
Peter必须在author_first_name或者author_last_name中出现
author_last_name必须在author_first_name或者author_last_name中出现
针对上述问题1,2的解决可以很好的理解,但是对于问题3,cross_field会取多个query针对每一个field的idf评分最小值,而不会出现极端的情况。(举例:Smith针对author_first_name出现的频率很少最后的idf分数会很小,而author_last_name却很大,最后取小的值会避免极端的情况)