elasticsearch customScoreQuery 实例

最新推荐文章于 2022-05-02 16:53:31 发布
最新推荐文章于 2022-05-02 16:53:31 发布
阅读量2.9k 收藏
点赞数
分类专栏： elasticsearch

我们来学习一下elasticsearch customScoreQuery 的使用。customScoreQuery 可以自定义score，从而来影响排序结果。

建立mapping


public static XContentBuilder createMapping(String indexName){
XContentBuilder mapping = null;
try {
mapping = jsonBuilder()
.startObject()
// 索引库名（类似数据库中的表）
.startObject(indexName)
 
.startObject("properties")
// 新闻ID
.startObject("id")
.field("type", "long")
.field("store", "yes")
.field("index", "not_analyzed")
.field("include_in_all", "false")
.endObject()
 
// title
.startObject("titele")
.field("type", "string")
.field("store", "yes")
.field("term_vector","with_positions_offsets")
.field("indexAnalyzer", "ik")
.field("searchAnalyzer", "ik")
.field("include_in_all", "false")
.field("boost", 4.0) // 打分（默认1.0）
.endObject()
                                .startObject("updatetime")
.field("type", "string")
.field("store", "yes")
.field("include_in_all", "false")
.endObject()
.endObject()
.endObject()
.endObject();
} catch (IOException e) {
e.printStackTrace();
}
 
return mapping;
}


创建索引


public static void createIndex(String indexName, String indexType){
 
 
   Client esClient = ESServiceSingleton2.getTransportClient();
 
   // 创建Mapping
   XContentBuilder mapping = createMapping(indexName);
// 创建一个空索引
 
   esClient.admin().indices().prepareCreate(indexName).execute().actionGet();
 
PutMappingRequest mappingRequest = Requests.putMappingRequest(indexName).type(indexType).source(mapping);
esClient.admin().indices().putMapping(mappingRequest).actionGet();
 
 
}


添加索引数据：

public static Integer addIndex(String indexName, String indexType){
 
 
   Client esClient = ESServiceSingleton2.getTransportClient();
 
 
BulkRequestBuilder bulkRequest = esClient.prepareBulk();   
 
 
try{
bulkRequest.add(esClient.prepareIndex(indexName, indexType, ""+5)   
  .setSource(jsonBuilder()
.startObject()
.field("id", 1)
 
.field("title", "脱北者中国")
.field("updatetime","1370563200")
.endObject())
       );
bulkRequest.add(esClient.prepareIndex(indexName, indexType, ""+2)   
  .setSource(jsonBuilder()
.startObject()
.field("id", 2)
 
.field("title", "脱北者中国")
.field("updatetime","1350327958")
.endObject())
       );
}catch(Exception e){
e.printStackTrace();
}
bulkRequest.execute().actionGet();   
 
 
return bulkRequest.numberOfActions();
}

创建查询：

public static void query(String query,String indexName,String indexType){
Client client = ESServiceSingleton2.getTransportClient();
 
SearchResponse response = client.prepareSearch(indexName)
       .setTypes(indexType)
       //.setQuery(getQueryBuilder(query))
       .setQuery(new CustomScoreQueryBuilder(getQueryBuilder(query)).script(
"long x=Long.parseLong(doc['updatetime'].value);" +
       "x=x/86400l;"+
"_score=_score+sqrt(yy-x)"
).param("yy", System.currentTimeMillis()/1000l/86400l))
 
       .addFields("id","title","updatetime")
       .setFrom(0).setSize(60).setExplain(true)
       .addHighlightedField("title")
                .setHighlighterEncoder("UTF-8")
                .setHighlighterPreTags("<em>")
                .setHighlighterPostTags("</em>")
       .execute()
       .actionGet();
 
 
Float usetime = response.getTookInMillis()/1000f;
     // 命中记录数
     Long hits = response.getHits().totalHits();
     System.out.println("usetime:"+usetime+"  hits:"+hits);
     for (SearchHit hit : response.getHits()) {
     Float score = hit.getScore();
         // 文章id
         Integer id = Integer.parseInt(hit.getFields().get("id").value().toString());
         String title = hit.getHighlightFields().containsKey("title")?hit.getHighlightFields().get("title").getFragments()[0].toString():hit.getFields().get("title").value().toString();
         Long updatetime = Long.parseLong(hit.getFields().get("updatetime").value().toString());
         System.out.println("the record id:"+id+" title: "+title+" updatetime:"+updatetime+"  score:"+score);
     }
}

获取querybuilder

public static QueryBuilder getQueryBuilder(String query){
		QueryStringQueryBuilder qsqb=new QueryStringQueryBuilder(query);
		qsqb.analyzer("ik").field("title");
	        return qsqb;
	}



主函数

public class IndexTest {
	public static void main(String[] args){
		Client client = ESServiceSingleton2.getTransportClient();
		client.admin().indices().prepareDelete("test").execute().actionGet();
		createIndex("test", "xq");
		addIndex("test", "xq");
		client.admin().indices().prepareRefresh().execute().actionGet();
		query("北","test", "xq");
		client.close();
	}
}

当时操作出现了空指针错误。



[2013-06-08 16:44:00,730][DEBUG][action.search.type       ] [Golem] [test][1], node[h9UqCv4wTECtb_VLWnkxcQ], [P], s[STARTED]: Failed to execute [org.elasticsearch.action.search.SearchRequest@175edcf]
org.elasticsearch.search.query.QueryPhaseExecutionException: [test][1]: query[filtered(custom score (title:北,function=script[long x=Long.parseLong(doc['updatetime'].value);x=x/86400l;long nows=yy/86400l;int nowDay=(int)nows;int day=(int)x;if (day < nowDay) {} else if (day > nowDay) {} else{}], params [{_source=org.elasticsearch.search.lookup.SourceLookup@1cfefc3, nows=15864, _fields=org.elasticsearch.search.lookup.FieldsLookup@86100a, _doc=org.elasticsearch.search.lookup.DocLookup@1871341, doc=org.elasticsearch.search.lookup.DocLookup@1871341, day=15910, _score=0.13424811, nowDay=15864, yy=1370681040, x=15910.719386574074}]))->cache(_type:xq)],from[0],size[60]: Query Failed [Failed to execute main query]
	at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:138)
	at org.elasticsearch.search.SearchService.executeQueryPhase(SearchService.java:239)
	at org.elasticsearch.search.action.SearchServiceTransportAction.sendExecuteQuery(SearchServiceTransportAction.java:141)
	at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction.sendExecuteFirstPhase(TransportSearchQueryThenFetchAction.java:80)
	at org.elasticsearch.action.search.type.TransportSearchTypeAction$BaseAsyncAction.performFirstPhase(TransportSearchTypeAction.java:206)
	at org.elasticsearch.action.search.type.TransportSearchTypeAction$BaseAsyncAction.performFirstPhase(TransportSearchTypeAction.java:193)
	at org.elasticsearch.action.search.type.TransportSearchTypeAction$BaseAsyncAction$2.run(TransportSearchTypeAction.java:179)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
	at java.lang.Thread.run(Thread.java:722)
Caused by: java.lang.NullPointerException
	at org.elasticsearch.script.mvel.MvelScriptEngineService$MvelSearchScript.runAsFloat(MvelScriptEngineService.java:197)
	at org.elasticsearch.index.query.CustomScoreQueryParser$ScriptScoreFunction.score(CustomScoreQueryParser.java:135)
	at org.elasticsearch.common.lucene.search.function.FunctionScoreQuery$CustomBoostFactorScorer.score(FunctionScoreQuery.java:155)
	at org.apache.lucene.search.TopScoreDocCollector$OutOfOrderTopScoreDocCollector.collect(TopScoreDocCollector.java:140)
	at org.apache.lucene.search.Scorer.score(Scorer.java:65)
	at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:612)
	at org.elasticsearch.search.internal.ContextIndexSearcher.search(ContextIndexSearcher.java:161)
	at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:482)
	at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:438)
	at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:281)
	at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:269)
	at org.elasticsearch.search.query.QueryPhase.execute(QueryPhase.java:134)
	... 9 more



代码为：

new CustomScoreQueryBuilder(getQueryBuilder(query)).script(
 "long x=Long.parseLong(doc['updatetime'].value);" +
         "x=x/86400l;" 
 ).param("yy", System.currentTimeMillis()/1000l/86400l)



从上面代码看，script没有问题，最后查到原因，CustomScoreQueryBuilder 必须要对_score 赋值，不然回报空指针错误。



customScoreQuery 的script 采用的是mvel的语法。mvel采用了类似java的语法。更多详细资料可参考：
http://blog.csdn.net/fhm727/article/details/6543152
获取java client可参考：http://www.chepoo.com/elasticsearch-java-client-demo.html
customScoreQuery 的script的函数支持可参考：
http://www.elasticsearch.org/guide/reference/modules/scripting/
customScoreQuery 的语法可参考：
http://www.elasticsearch.org/guide/reference/query-dsl/custom-score-query/
http://www.elasticsearch.org/guide/reference/query-dsl/custom-boost-factor-query/

july_2
关注
专栏目录
运用打分和Boost优化Elasticsearch搜索结果
qq_19598855的专栏
01-25 2万+
来自Optimizing Search Results in Elasticsearch with Scoring and Boosting 作者：Neil Alex 2015/03/18虽然es提供了高效的打分函数，但是在电商环境下还是不够用。大多数的用户还是关注排在前几名的结果，所以有灵活的打分机制尤为重要。如果能根据用户的需要展示搜索结果，那么转化率就尤其可观了。本文中，我们先来看看es默认的
ElasticSearch高级查询2/2
weixin_43490106的博客
06-22 362
ElasticSearch高级操作 https://blog.csdn.net/weixin_43490106/article/details/118059318?spm=1001.2014.3001.5502 上面这篇是elasticsearch的入门理解，elasticsearch主要来用于弥补关系型数据库查询方面的缺陷的，所以elasticsearch最主要的操作还是来查询。 1.bulk批量操作-脚本 在现实应用中，文本操作都是批量操作的，首先是介绍脚本的方式来批量操作（脚本操作我推荐使用k
Elasticsearch - 自定义分析器
热门推荐
上善若水，水善利万物而不争。
04-16 2万+
全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)， 这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档的Inverted In
Lucene5学习之CustomScoreQuery
嘿↗你的益达
04-09 281
      虽然前面我们已经集中学习过Query,但CustomScoreQuery当初略过了，今天就来学学这个Query.从类名上看，顾名思义，就大不略的猜得到它的干嘛用的。它是用来进行干预查询权重的，从而影响最终评分的，即评分公式中的queryNorm部分。       一个索引文档的评分高低意味着它的价值大小，有价值的索引文档会优先返回并靠前显示，而影响评分的因素有Term在docume...
ElasticSearch自定义分析器（custom analyzer）
weixin_42638762的博客
05-02 2529
一、基础知识 一个完整的分析器Analyzer包括如下三个组件： Character Filters: 对文本信息就行预处理，比如对原始文本删减或替换字符 Token Filters: 分词后过滤，对分词后的词语列表进行处理（过滤，删除等） Tokenizer：分词器，即将原始文本按照一定规则切分为词语（token） 1. Character Filters es内置的Character Filters包括：html_strip: 去除html标签, mapping:字符串替换|映射, patte
elasticsearch 自定义分析器
_Tsun 的博客
04-14 346
自定义分析器 分析器analyzer主要有以下几个字段 type 指定内置的分析器,custom可以忽略 tokenizer char_filter filter position_increment_gap 目前还没用到,不知道 各个作用 analyzer/analysis (分析器) 文档document 如何转化为 倒排索引,一段text变成一个个term,这个过程叫做文本分析. Tokenizer(分词器) 语干中提取词元(Token) Filter(过滤器) Character Fi
Elasticsearch7.0实例精解 源代码.zip
06-06
Elasticsearch 7.0 实例精解源代码是一份深度解析Elasticsearch 7.0版本核心功能和实际应用的资源集合。这份压缩包包含了详细的示例代码，旨在帮助开发者更好地理解和掌握Elasticsearch的强大功能。以下是基于...
python批量导入数据进Elasticsearch的实例
01-20
ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，...es = Elasticsearch() actions = [] f=open('index.txt') i=1 for line in f: line = line.strip().split(' ')
JAVA实现ElasticSearch的简单实例
07-29
Java实现Elasticsearch的简单实例主要涉及以下几个关键知识点： 1. **Elasticsearch基础**：Elasticsearch（ES）是一个开源的、分布式全文搜索引擎，它提供了实时数据分析的能力，广泛用于日志分析、监控、搜索应用...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
最新发布
06-20
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于数据检索、分析和管理。作为分布式、RESTful风格的搜索和数据分析引擎，Elasticsearch能够提供实时、高可用性以及可扩展的搜索功能。在进行日常的数据...
【Lucene】Lucene通过CustomScoreQuery实现自定义评分
weixin_33933118的博客
06-12 211
建立业务查询的query，该query嵌套在自定义评分CustomScoreQuery中，从而为query添加了自定义评分功能Queryquery=newTermQuery(newTerm("name","myname")); query=newProductCustomScoreQuery(query);从上一步可以看出, 我们需要新建一个ProductC...
lucene 文档评分 及 CustomScoreQuery
weixin_34241036的博客
05-31 141
1.评分 评分公式可见《lucence 文档评分公式》 2.解释 org.apache.lucene.search.Explanation 类，用于解释评分细节。 String org.apache.lucene.search.Explanation.toString() 文本格式输出。 String org.apache.lucene.search....
Lucene - CustomScoreQuery 自定义排序
july_2的专栏
03-13 1317
在某些场景需要做自定义排序（非单值字段排序、非文本相关度排序），除了自己重写collect、weight，可以借助CustomScoreQuery。 场景：根据tag字段中标签的数量进行排序（tag字段中，标签的数量越多得分越高） public class CustomScoreTest { public static void main(String[] args) th
ES中关联关系处理方式汇总
弹指天下
08-04 2933
前言 本节主要介绍在ES中关联关系的处理方式。 一、方案汇总 根据《Elasticsearch权威指南》以及官网中的介绍，ES针对关联关系的处理主要有如下方式： 应用层关联 非规划化数据 嵌套对象 父子关系文档 Terms lookup跨索引查询 Join、Nested、Object、Flattened字段类型对比 二、应用层关联 对索引数据不进行特殊处理，而是在应用程序中通过多次查询实现数据的关联查询。 例如，比方下面的例子，一个问题会有多个答案，且问题数据和答案数据在不通的索引中。 1、创建问题索
ES基本功能封装
weixin_30369041的博客
12-26 286
package com.huaji.shtel.util; import java.util.ArrayList;import java.util.List;import java.util.Map;import org.apache.log4j.Logger;import org.elasticsearch.action.admin.indices.create.CreateIndexRequ...
Elasticsearch之自定义score
weixin_34315665的博客
11-20 1447
前言 之前做一个歌曲搜索功能，产品有这样的一个需求 如果两者搜索分值相同，点击次数多的排在前面 实现这个功能当然是使用es提供的function_score功能了,废话不多说，放码 使用function_score实现自定义分值 rest请求如下 GET /{index}/{type}/_search?explain { "query": { "function_score": { ...
Spring Boot整合Elasticsearch实例教程
资源摘要信息: "Spring Boot Elasticsearch 示例操作指南" 在当前的软件开发领域，Spring Boot 和 Elasticsearch 的结合使用已经成为了一个非常流行的技术方案。Spring Boot 是一个开源的 Java 基础框架，用于简化 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值