关于ES中Function_Score在自定义打分中的应用

最新推荐文章于 2024-03-10 13:59:45 发布
最新推荐文章于 2024-03-10 13:59:45 发布
阅读量2.8k 收藏 4
点赞数
分类专栏： 笔记 文章标签： elasticsearch 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43266984/article/details/122364553
版权

应用背景

现在有许多商品需要在商品列表中进行排序展示，排序要求使用ES并且尽量一次性查出来，有要求如下：
  • 重点商品，收藏商品，优质商品，普通商品的顺序展出
  • 在同一类商品发生冲突时，按照自主产品，非自主产品进行展出(是否自主产品是一个集合，只有集合里面有7才属于自主产品，没有7则属于非自主产品)
  • 如果继续发生冲突 按照商品录入时间展出
  • 最后用id来进行兜底
  • 优质商品首先根据商品的等级来排序，然后才走第二行

ES中使用到的字。

id （商品的序列号）,
create_time（创建商品时间） ,
one_hand_commodity（是否是优质商品） ,
commodity_level , （商品等级4个级别 S,A,B,C）
commodity_list（商品属性，是否是自主产品） ,
publish_time , （商品上架时间）

难点

在这次应用中，有几个难点
1、优质商品有着自己的排序特点，不能使用sort来进行总体排序。
2、重点商品以及收藏商品需要置顶放在最高。
3、就是在原有实现方案基础上进行代码的合并

分析

在不能使用sort的情况下，以及优质商品的独特性，我们在ES官网给出了我们提示，使用得分，自定义得分以及funcationScore来实现评分排序。
由于优质商品有着独特的排序情况，我们将 one_hand_commodity（是否是优质商品）与commodity_level , （商品等级4个级别 S,A,B,C）俩字段,将他们满足优质商品同时满足商品等级的氛围不同的权重，用weight来赋值。

"function_score": {
            "query": {
              "term": {
                "one_hand_commodity: {
                  "value": "1",
                  "boost": 1
                }
              }
            },
            "functions": [
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 1,
                      "boost": 1
                    }
                  }
                },
                "weight": 96
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 2,
                      "boost": 1
                    }
                  }
                },
                "weight": 48
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 3,
                      "boost": 1
                    }
                  }
                },
                "weight": 24
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 4,
                      "boost": 1
                    }
                  }
                },
                "weight": 12
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
          }

其中的score_mode 的作用是在functions所有命中的filter，都采用sum即累加的方式，而boost_mode 是整个functionScore与外面的query采用replace，替换的方式进行积分。
像 在集合中是否存在7，可以使用terms来进行命中

 "function_score": {
            "query": {
              "bool": {
                "must_not": [
                  {
                    "term": {
                      "commodity_list": {
                        "value": "7",
                        "boost": 1
                      }
                    }
                  }
                ],
                "adjust_pure_negative": true,
                "boost": 1
              }
            },
            "functions": [
              {
                "filter": {
                  "bool": {
                    "must_not": [
                      {
                        "term": {
                          "commodity_list": {
                            "value": "7",
                            "boost": 1
                          }
                        }
                      }
                    ],
                    "adjust_pure_negative": true,
                    "boost": 1
                  }
                },
                "weight": 3
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "boost": 1
          }

而对于重点商品以及收藏商品就可以在mysql中关联查询出来，在es语句中进行赋值

"function_score": {
            "query": {
              "terms": {
                "id": [
                  53507,
                  53628
                ],
                "boost": 1
              }
            },
            "functions": [
              {
                "filter": {
                  "terms": {
                    "id": [
                      53507,
                      53628
                    ],
                    "boost": 1
                  }
                },
                "weight": 192
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "boost": 1
          }

这样将优质商品的不同等级进行了不同的得分，最后就可以使用sort来进行排序。

  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    },
    {
      "create_time": {
        "order": "desc"
      }
    },
    {
      "id": {
        "order": "desc"
      }
    }
  ],

ps：整个这次查询的weight设置，统一使用

前面所有weight和 < 现在需要赋值的weight
且最小只能从大于1开始，不能为1。

附：全部查询代码

{
  "from": 0,
  "size": 10,
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "commodity_status": {
              "value": 2,
              "boost": 1
            }
          }
        },
        {
          "terms": {
            "id": [
              53507,
              53628,
              53656,
              53681
            ],
            "boost": 1
          }
        },
        {
          "term": {
            "is_delete": {
              "value": 0,
              "boost": 1
            }
          }
        }
      ],
      "should": [
        {
          "function_score": {
            "query": {
              "term": {
                "one_hand_commodity": {
                  "value": "1",
                  "boost": 1
                }
              }
            },
            "functions": [
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 1,
                      "boost": 1
                    }
                  }
                },
                "weight": 96
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 2,
                      "boost": 1
                    }
                  }
                },
                "weight": 48
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 3,
                      "boost": 1
                    }
                  }
                },
                "weight": 24
              },
              {
                "filter": {
                  "term": {
                    "commodity_level": {
                      "value": 4,
                      "boost": 1
                    }
                  }
                },
                "weight": 12
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "max_boost": 3.4028235e+38,
            "boost": 1
          }
        },
        {
          "function_score": {
            "query": {
              "term": {
                "one_hand_commodity": {
                  "value": "0",
                  "boost": 1
                }
              }
            },
            "functions": [
              {
                "filter": {
                  "term": {
                    "one_hand_commodity": {
                      "value": "0",
                      "boost": 1
                    }
                  }
                },
                "weight": 6
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "max_boost": 3.4028235e+38,
            "boost": 1
          }
        },
        {
          "function_score": {
            "query": {
              "term": {
                "commodity_list": {
                  "value": "7",
                  "boost": 1
                }
              }
            },
            "functions": [
              {
                "filter": {
                  "term": {
                    "commodity_list": {
                      "value": "7",
                      "boost": 1
                    }
                  }
                },
                "weight": 2
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "max_boost": 3.4028235e+38,
            "boost": 1
          }
        },
        {
          "function_score": {
            "query": {
              "bool": {
                "must_not": [
                  {
                    "term": {
                      "commodity_list": {
                        "value": "7",
                        "boost": 1
                      }
                    }
                  }
                ],
                "adjust_pure_negative": true,
                "boost": 1
              }
            },
            "functions": [
              {
                "filter": {
                  "bool": {
                    "must_not": [
                      {
                        "term": {
                          "commodity_list": {
                            "value": "7",
                            "boost": 1
                          }
                        }
                      }
                    ],
                    "adjust_pure_negative": true,
                    "boost": 1
                  }
                },
                "weight": 3
              }
            ],
            "score_mode": "sum",
            "boost_mode": "replace",
            "max_boost": 3.4028235e+38,
            "boost": 1
          }
        },
        {
          "function_score": {
            "query": {
              "terms": {
                "id": [
                  53507,
                  53628,
                  53656,
                  53681
                ],
                "boost": 1
              }
            },
            "functions": [
              {
                "filter": {
                  "terms": {
                    "id": [
                      53507,
                      53628,
                      53656,
                      53681
                    ],
                    "boost": 1
                  }
                },
                "weight": 192
              }
            ],
            "score_mode": "sum",
            "boost_mode": "max",
            "max_boost": 3.4028235e+38,
            "boost": 1
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  },
  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    },
    {
      "create_time": {
        "order": "desc"
      }
    },
    {
      "id": {
        "order": "desc"
      }
    }
  ],
  "track_total_hits": 2147483647
}
迷茫的大学生
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
elasticsearch-payload-scoring-function:用于有效负载功能的Elasticsearch插件用于function_score查询的评分插件
05-10
基于Elasticsearch有效负载分数的功能插件 Payload功能插件，用于Elasticsearch中的功能得分查询 有效负载值是从termVectors（如果启用）中获取的（这是更快的）或从反向索引中获取。 版本号 弹性搜索 插入 发布日期 1.7.0 1.7.0.0 2015年9月7日 样本用例 样本文件A （很多肉汁和非常辣） { "name": "chilli chicken", "tasteTypes": [ "spicy|100", "salty|10", "gravy|100" ] } 样本文件B （很多肉汁肉汁不很辣） { "name": "Chicken with nuts", "tasteTypes": [ "spicy|20", "sweet", "gravy
Elasticsearch实战——function_score 查询详解
dwjf321的博客
01-14 6232
ES实战。评分函数查询，衰减函数查询，function_score的应用详解，高斯函数的使用，gauss函数、线性函数。
Elasticsearch(5) function_score的使用
最新发布
qq_29312279的博客
03-10 1116
Elasticsearch 中的 function_score 查询允许你根据一组定制函数来调整每个文档的评分，从而影响搜索结果的排序。
深度探索 Elasticsearch 8.X：function_score 参数解读与实战案例分析
铭毅天下Elasticsearch
07-26 900
在 Elasticsearch 中，function_score 可以让我们在查询的同时对搜索结果进行自定义评分。function_score 提供了一系列的参数和函数让我们可以根据需求灵活地进行设置。近期有同学反馈，function_score 的相关参数不好理解，本文将深入探讨 function_score 的核心参数和函数。1、function_score 函数的用途及适用场景Elastic...
Elasticsearch复合查询—function_score查询
Chdaring的博客
11-19 1155
function_score允许您修改通过查询检索的文档的分数。例如，如果一个分数函数的计算开销很大，并且它足以在一组经过筛选的文档上计算分数，那么这就很有用。 要使用function_score，用户必须定义一个查询和一个或多个函数，这些函数为查询返回的每个文档计算一个新分数。 function_score只能用于一个这样的函数: { "query": { "function_score": { "query": { "match_all": {} }, "boost"
Elasticsearch 评分函数function_score用于父子文档排序
勤于笔记，成于点滴。
12-22 752
Elasticsearch 评分函数function_score用于父子文档排序
ES自定义评分机制:function_score查询详解
热门推荐
弹指天下
09-28 1万+
ES中的自定义评分机制function_score主要用于让用户自定义查询相关性得分，实现精细化控制评分的目的。 在ES的常规查询中，只有参与了匹配查询的字段才会参与记录的相关性得分score的计算。但很多时候我们希望能根据搜索记录的热度、浏览量、评分高低等来计算相关性得分，提高用户体验。
ElasticSearch7之function_socre使用心得
xiaoxiaoxiao_Ming的博客
11-18 2118
介绍： 1、function_score是可以修改查询检索文档的分数，使用function_score必须定义​​一个查询和一个或多个函数，为查询返回的每个文档计算一个新的分数。 function_score提供的评分函数： 1、weight : 设置一个float类型的权重值，使最终分数是查询分数与该权重值的乘积 2、field_value_factor : 允许使用文档中的字段来影响分数 GET /_search { "query": { "function_score": {
ES (六) Function 的扩展
weixin_44160385的博客
08-17 423
1、函数参数的默认值 2、rest 参数 3、严格模式 4、name 属性 5、箭头函数 #一、函数参数的默认值 1. 基本用法 ES6 之前不能指定函数参数默认值，只能使用变通的方式 function log(x, y) { y = y || "Word"; console.log(x, y); } log("Hello"); // Hello World log("Hello", "China"); // Hello China log("Hello", ""); // Hello .
通过案例实战详解elasticsearch自定义打分function_score的使用
赵侠客
07-29 1149
elasticsearch给我们提供了很强大的搜索功能，但是有时候仅仅只用相关度打分是不够的，本文结合简单案例详解function_score的使用方法
es function_score自定义计算得分函数；aggs聚合操作；贝叶斯平均
weixin_42357472的博客
11-09 2503
1、function_score 参考：https://segmentfault.com/a/1190000037700644 https://blog.csdn.net/lijingjingchn/article/details/106405577 function_score 查询 是用来控制评分过程的终极武器，它允许为每个与主查询匹配的文档应用一个函数，以达到改变甚至完全替换原始查询评分 _score 的目的。 *** 单个加强函数的查询模板 GET 127.0.0.1/mytest/doc/_sea
Elasticsearch在财务报表中的应用V1.2.ppt
10-20
Elasticsearch在财务报表中的应用
Elasticsearch之插件es ik配置自定义中文分词词典-附件资源
03-05
Elasticsearch之插件es ik配置自定义中文分词词典-附件资源
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码
10-04
一个搜索框架的管理界面项目，可以监控管理相关的微服务
ES 搜索21 (function_score查询 关键字 functions 和 weight 滤集提升权重分)
qq_42383787的博客
08-23 1489
过滤集提升权重 回到忽略 TF/IDF里处理过的问题，我们希望根据每个度假屋的特性数量来评分，当时我们希望能用缓存的过滤器来影响评分，现在function_score查询正好可以完成这件事情。 到目前为止，我们展现的都是为所有文档应用单个函数的使用方式，现在会用过滤器将结果划分为多个子集（每个特性一个过滤器），并为每个子集使用不同的函数。 functions是一个数组，裡面放著的...
自定义编写ES6的 filter 函数
fanfan176的博客
11-18 187
自定义编写ES6的 filter 函数
es使用教程之_score(评分)介绍
leveretz的博客
11-25 4794
es使用教程之_score(评分)介绍
【Elasticsearch】Elasticsearch自定义评分的N种方法
九师兄
05-09 2451
1.概述 首先参考文章：【Elasticsearch】Elasticsearch 相关度评分 TF&IDF 然后转载文章：实战 | Elasticsearch自定义评分的N种方法 2.三个问题 期望Elasticsearch搜索结果更准确，不可回避的三个问题 问题1：用户真正的需求是什么？ 如果不能获得用户的搜索意图，搜索的准确性无从谈起。 比如：同样输入“锤子”，工匠期望的是钉子对应的“锤子”，老罗的粉丝期望的是“锤子科技”、“锤子便签”、“锤子手机”等。 即使同一用户发出的同一个查询，也可能因.
ES搜索框架--自定义评分规则
qq_51641196的博客
04-10 1359
一、评分规则需求按照用户画像(不同的标签分数)和用户省份在用户查询时，对查询结果进行自定义评分二、ES自定义评分方式参考：博客：https://blog.csdn.net/W2044377578/article/details/128636611官网：https://www.elastic.co/guide/en/elasticsearch/guide/master/function-score...
java代码中关于elasticsearch的function_score所有api详解
05-09
在Java中使用Elasticsearch的Function Score API可以对搜索结果进行加权，以提高搜索结果的相关性。Function Score API提供了多种函数和算法，可以根据不同的需求进行调整。下面是Java代码中关于Elasticsearch的Function Score API的详解。 1. Function Score Query Function Score Query是使用Function Score API的最基本方法。以下是一个简单的例子： ```java FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery() .add(QueryBuilders.matchQuery("name", "Bob"), ScoreFunctionBuilders.weightFactorFunction(2)) .add(QueryBuilders.matchQuery("age", "30"), ScoreFunctionBuilders.weightFactorFunction(3)) .scoreMode("sum"); SearchQuery searchQuery = new NativeSearchQueryBuilder() .withQuery(functionScoreQueryBuilder) .build(); ``` 其中，add方法添加了两个查询条件，分别是匹配name为Bob和age为30的记录，weightFactorFunction方法设置了权重因子，这里分别为2和3。scoreMode方法设置了计算分数的方式，这里为求和。 2. Decay Functions Decay Functions提供了一种根据距离或时间进行衰减的方法，可以用来实现地理位置搜索、时间搜索等功能。以下是一个地理位置搜索的例子： ```java FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery() .add(QueryBuilders.matchAllQuery(), ScoreFunctionBuilders.weightFactorFunction(1)) .add(ScoreFunctionBuilders .gaussDecayFunction("location", new GeoPoint(40.715, -74.011), "1km") .setDecay(0.5) .setOffset("1km") .setWeight(2)) .scoreMode("sum"); SearchQuery searchQuery = new NativeSearchQueryBuilder() .withQuery(functionScoreQueryBuilder) .build(); ``` 其中，gaussDecayFunction方法设置了衰减函数为高斯衰减函数，参数分别为字段名、中心点、衰减半径。setDecay方法设置了衰减速率，这里为0.5。setOffset方法设置了衰减偏移量，这里为1km。setWeight方法设置了权重因子，这里为2。 3. Script Functions Script Functions可以使用脚本来自定义计算分数的逻辑，可以实现更加灵活的需求。以下是一个使用脚本计算分数的例子： ```java Script script = new Script(ScriptType.INLINE, "painless", "doc['age'].value * params.factor", Collections.singletonMap("factor", 2)); FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery() .add(QueryBuilders.matchAllQuery(), ScoreFunctionBuilders.weightFactorFunction(1)) .add(ScoreFunctionBuilders.scriptFunction(script)) .scoreMode("sum"); SearchQuery searchQuery = new NativeSearchQueryBuilder() .withQuery(functionScoreQueryBuilder) .build(); ``` 其中，script方法设置了脚本，使用了Painless语言，计算分数的逻辑为doc['age'].value * params.factor，其中params.factor为参数，这里为2。 总之，Elasticsearch的Function Score API提供了多种函数和算法，可以根据不同的需求进行调整。在Java代码中，可以使用FunctionScoreQueryBuilder和ScoreFunctionBuilders来构建查询条件和函数，实现对搜索结果的加权。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值