Elasticsearch之使用RestClient实现script、正则、count、source查询

最新推荐文章于 2024-06-26 15:19:22 发布
最新推荐文章于 2024-06-26 15:19:22 发布
阅读量1.1k 收藏
点赞数
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45492007/article/details/119295693
版权

当前版本elasticsearch 7.13.4

1. 声明

当前内容主要为本人学习和使用RestClietn实现script、正则、count、source查询,主要参考：官方文档

主要涉及

  1. 使用script实现脚本查询
  2. 使用正则进行匹配查询
  3. 使用count查询文档数量
  4. 使用source只查询返回的_source中的内容

当前文章基于前面博文：Es操作

2. 基本的script查询

官方的：
在这里插入图片描述
但是本人用postman的为：

  "query": {
    "bool": {
      "filter": {
        "script": {
          //"script": "double price = doc['price'].value;if(doc['bookName'].value == 'javaSE') {return price>10;}return false;"
          "script": "double price = doc['price'].value;long count = doc['count'].value;if( count > 1 ) {return price>10;}return false;"
        }
      }
    }
  }
}

在这里插入图片描述
在这里插入图片描述
所以测试发现使用双引号中就可以使用脚本，但是脚本中不可使用doc[字符串]

如果使用doc[‘具有字符串属性的字段’]，直接报错，还有就是默认写入整数实际返回为long,小数默认为double

"caused_by": 
{
   "type": "illegal_argument_exception",
    "reason": "Text fields are not optimised for operations that require per-document field data like aggregations and sorting, so these operations are disabled by default. Please use a keyword field instead. Alternatively, set fielddata=true on [bookName] in order to load field data by uninverting the inverted index. Note that this can use significant memory."
}

具体java操作

public static void main(String[] args) throws IOException {
		RestClient restClient = RestClient.builder(new HttpHost("localhost", 9200, "http")).build();
		// Sniffer 默认为5分钟一次更新节点信息（主要为控制节点，判断节点是否可以访问）
		// sniffer的主要作用就是按照指定的时间间隔方式修改restClient的setNodes方法
		Sniffer sniffer = Sniffer.builder(restClient).build();
		// 手动设置为1分钟更新一次节点
		// Sniffer.builder(restClient).setSniffIntervalMillis(60*1000);
		try {
			// 	查询操作：使用script方式进行匹配查询.，脚本查询必须返回boolean类型
			selectDataUsingScript(restClient);
			
		} finally {
			// 注意关闭顺序
			sniffer.close();
			restClient.close();
		}

	}
/**
	 * 
	 * @author hy
	 * @createTime 2021-08-01 08:47:55
	 * @description 当前内容主要为使用脚本方式查询es中的数据
	 * @param restClient
	 * @throws IOException 
	 *
	 */
	private static void selectDataUsingScript(RestClient restClient) throws IOException {
		// 查询书名为java se且价格大于10的,且count数量大于1的，使用脚本方式查询
		Request request = new Request("GET", "/book/java/_search");
		request.setJsonEntity("{\"query\": {\"bool\": {\"filter\": {\"script\": {\"script\": \"double price = doc['price'].value;long count = doc['count'].value;if( count > 1 ) {return price>10;}return false;\"\n}}}}}");
		Response response = restClient.performRequest(request);
		System.out.println(response);
		String result = getResponseContent(response);
		System.out.println(result);
		// 注意使用官方的"""script"""方式是不能查询的，必须使用"script":"script方式"才可以查询
		// 查询注意事项，不可使用带有索引的字符串的使用doc['属性']来获取属性会报错的
	}

/**
	 * 
	 * @author hy
	 * @createTime 2021-07-31 13:51:11
	 * @description 获取带有返回值的响应数据，例如select查询操作
	 * @param response
	 * @return
	 * @throws UnsupportedOperationException
	 * @throws IOException
	 *
	 */
	private static String getResponseContent(Response response) throws UnsupportedOperationException, IOException {
		if (response == null) {
			return null;
		}
		HttpEntity entity = response.getEntity();
		StringBuilder builder = new StringBuilder();
		if (entity != null) {
			InputStream content = entity.getContent();
			BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(content));
			String line = null;
			while ((line = bufferedReader.readLine()) != null) {
				builder.append(line);
			}
		}
		return builder.toString();
	}

结果为

八月 01, 2021 11:12:22 上午 org.elasticsearch.client.RestClient logResponse
警告: request [GET http://localhost:9200/book/java/_search] returned 2 warnings: [299 Elasticsearch-7.13.4-c5f60e894ca0c61cdbae4f5a686d9f08bcefc942 "Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.13/security-minimal-setup.html to enable security."],[299 Elasticsearch-7.13.4-c5f60e894ca0c61cdbae4f5a686d9f08bcefc942 "[types removal] Specifying types in search requests is deprecated."]
八月 01, 2021 11:12:22 上午 org.elasticsearch.client.RestClient logResponse
警告: request [GET http://localhost:9200/_nodes/http?timeout=1000ms] returned 1 warnings: [299 Elasticsearch-7.13.4-c5f60e894ca0c61cdbae4f5a686d9f08bcefc942 "Elasticsearch built-in security features are not enabled. Without authentication, your cluster could be accessible to anyone. See https://www.elastic.co/guide/en/elasticsearch/reference/7.13/security-minimal-setup.html to enable security."]
Response{requestLine=GET /book/java/_search HTTP/1.1, host=http://localhost:9200, response=HTTP/1.1 200 OK}
{"took":2,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":1,"relation":"eq"},"max_score":0.0,"hits":[{"_index":"book","_type":"java","_id":"1","_score":0.0,"_source":{"bookName":"java se","count":5,"id":1,"price":18.5,"publishDate":"2021-07-31 12:12:12"}}]}}

2. 正则查询


	/**
	 * 
	 * @author hy
	 * @createTime 2021-07-31 16:30:29
	 * @description 使用正则的方式匹配查询
	 * @param restClient
	 * @throws IOException
	 *
	 */
	private static void selectDataUsingRegex(RestClient restClient) throws IOException {
		// ?表示匹配一个字符,*表示匹配0到n个字符
		// String encode = URLEncoder.encode("publishDate:202?*", "UTF-8"); // 可以匹配日期类型
		// String encode = URLEncoder.encode("publishDate:202?-*", "UTF-8");// 无法匹配2021-07-31 12:12:12
		// String encode = URLEncoder.encode("publishDate:202?\\-*", "UTF-8");// 无法匹配2021-07-31 12:12:12
		// String encode = URLEncoder.encode("bookName:java", "UTF-8"); // 直接查询bookName中有java的.可以匹配java se中的空格,就相当于模糊查询(只要有即可)
		 String encode = URLEncoder.encode("bookName:*java*", "UTF-8"); // 直接查询bookName中有java的.可以匹配java se中的空格
		// String encode = URLEncoder.encode("bookName:java *", "UTF-8"); // 可以匹配java se
		// String encode = URLEncoder.encode("bookName:java\\ *", "UTF-8"); //无法匹配java se
		// String encode = URLEncoder.encode("bookName:java\\ se", "UTF-8"); //可以匹配java se
		// String encode = URLEncoder.encode("bookName:ja?a\\ ?e", "UTF-8"); // 无法匹配java se
		// 使用正则匹配
		// String encode = URLEncoder.encode("bookName:/ja.*/", "UTF-8"); // 可以匹配 java se
		// java的正则可以匹配
		// String encode = URLEncoder.encode("bookName:/ja[a-z|A-Z]+\\W+[a-z|A-Z]+/", "UTF-8");  // 不可以匹配 java se，感觉有问题
		// String encode = URLEncoder.encode("bookName:/ja.*\\W+[a-z|A-Z]+/", "UTF-8");  // 不可以匹配 java se，感觉有问题
		// String encode = URLEncoder.encode("bookName:/ja.*\\W[a-z|A-Z]+/", "UTF-8"); // 不可匹配
		// String encode = URLEncoder.encode("bookName:/ja.*\\W?[a-z|A-Z]+/", "UTF-8");//可匹配
		// String encode = URLEncoder.encode("bookName:/ja.*\\W{1}[a-z|A-Z]+/", "UTF-8");// 不可匹配
		
		
		// 这个正则使用java是可以执行的
		Request request = new Request("GET", "/book/java/_search?q="+encode);
		
		
		Response response = restClient.performRequest(request);
		System.out.println(response);
		String result = getResponseContent(response);
		System.out.println(result);

	}

这里可以分为带有//的正则和不带有//的匹配查询操作，但是需要注意的是和java中的正则匹配可能不一样
例如：ja[a-z|A-Z]+\\W+[a-z|A-Z]+

在这里插入图片描述

而es中却是
在这里插入图片描述
这个是有点不一样的

3. count查询

/**
	 * 
	 * @author hy
	 * @createTime 2021-08-01 09:36:20
	 * @description 使用count查询
	 * @param restClient
	 * @throws IOException
	 *
	 */
	private static void selectDataUsingCount(RestClient restClient) throws IOException {
		// 查询书名为java se且价格大于10的,且count数量大于1的，使用count查询
		Request request = new Request("GET", "/book/java/_count");
		request.setJsonEntity("{\"query\": {\"bool\": {\"filter\": {\"script\": {\"script\": \"double price = doc['price'].value;long count = doc['count'].value;if( count > 1 ) {return price>10;}return false;\"\n}}}}}");
		Response response = restClient.performRequest(request);
		System.out.println(response);
		String result = getResponseContent(response);
		System.out.println(result);
		// {"count":1,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0}}
	}

结果为：{"count":1,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0}}

_count表示查询匹配的数量

4. source查询

这个查询如果_id存在，那么就会返回_source中的内容，否则就会报错，还可以通过_source指定返回的_source中的内容

/**
	 * 
	 * @author hy
	 * @createTime 2021-08-01 09:36:20
	 * @description 只查询_source数据,不需要什么took之类的
	 * @param restClient
	 * @throws IOException
	 *
	 */
	private static void selectDataUsingSource(RestClient restClient) throws IOException {
		// 使用_source指定当前返回的_source中的结果集
		//Request request = new Request("GET", "/book/java/_search");
		//request.setJsonEntity("{\"_source\": [\"bookName\"]}");
		// {"took":6,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":1,"relation":"eq"},"max_score":1.0,"hits":[{"_index":"book","_type":"java","_id":"1","_score":1.0,"_source":{"bookName":"java se"}}]}}
		
		//	注意如果使用这个查询一个不存在的那么就会报错异常。{"error":{"root_cause":[{"type":"resource_not_found_exception","reason":"Document not found [book]/[java]/[2]"}],"type":"resource_not_found_exception","reason":"Document not found [book]/[java]/[2]"},"status":404}
		Request request = new Request("GET", "/book/java/1/_source");//{"bookName":"java se","count":5,"id":1,"price":18.5,"publishDate":"2021-07-31 12:12:12"}
		// 文档_id=1存在则正常返回
		// Request request = new Request("GET", "/book/java/2/_source"); //_id=2不存在则直接报错
		// request.setJsonEntity("{\"_source\": [\"bookName\"]}"); 错误不支持使用的时候有body
		Response response = restClient.performRequest(request);
		System.out.println(response);
		String result = getResponseContent(response);
		System.out.println(result);
		
	}

1._search中的jsonbody设置了_source可以控制_source返回的字段属性内容

2.如果直接使用_id/_source那么直接返回_source中的内容,如果_id不存在，那么直接报错，且这样使用的时候不能设置jsonBody

编程写手
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch安装 及 常见错误总结（长期更新）
Achhhe的博客
08-18 8937
pytorch安装 国内安装pytorch速度非常慢，建议离线实现离线下载好，保存起来 ----------------------------------分割线---------------------------------- 假定已经离线下载好目标版本whl文件 pip install torch.****.whl conda install torchvision=0.2.1...
JAVA使用ElasticSearch查询in和not in的实现方式
08-26
BoolQuery是Elasticsearch中的一种查询方式，使用must、should、must_not三个关键词来实现查询。must表示文档必须完全匹配条件，should表示文档至少满足一个条件，must_not表示文档必须不匹配条件。 在查询时，...
Elasticsearch脚本查询
小獣专栏
07-05 1168
Elasticsearch脚本查询。
Elasticsearch Script 查询：使用脚本自定义查询
最新发布
Dxy1239310216的博客
06-26 697
在 Elasticsearch 中，脚本查询允许我们编写自定义的查询逻辑，这些逻辑可以在查询执行期间动态地计算文档的分数或决定是否匹配查询条件。通过脚本查询，我们可以利用 Elasticsearch 提供的脚本引擎（如 Painless 脚本引擎）来编写脚本，并在查询中使用这些脚本来执行复杂的计算或逻辑判断。Elasticsearch 的脚本查询功能为我们提供了强大的自定义查询能力。通过编写自定义的脚本逻辑，我们可以实现复杂的评分计算、条件过滤和数据转换等操作，从而满足更加灵活和个性化的查询需求。
ElasticSearch的Script逻辑查询
qq_36245532的博客
07-06 4781
———————————————— 版权声明：本文为CSDN博主「CTO修炼手册」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/Prepared/article/details/102893852 在使用 ES 进行统计的时候，经常会用到查询某个小时的统计数据，比如统计每个小时的数据；比如计算早晚高峰的数据。 这些场景都可以使用 script 进行查询、统计。 ES 语句 { "query": { "boo
elasticSearch中查询使用脚本(script),处理时区偏移量 日期区间 时间区间双重查询
weixin_43367053的博客
08-10 553
项目需求:使用es查询获取某个日期区间内每天早高峰的数据量，技术栈使用中的，其中时间参数在es存储的时候时区偏移了八个小时，另外说明：我使用的es版本为7.9的，不同版本在脚本中获取参数值有所不同，下面贴一下7.9版本的获取值的方式。
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
Elasticsearch实现复合查询高亮结果功能
10-16
在本文中，我们将深入探讨如何使用Elasticsearch的Java API来实现复合查询并展示高亮结果。 首先，我们需要配置Elasticsearch客户端以便与ES集群通信。在给出的代码示例中，我们创建了一个`TransportClient`，这是...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎...Elasticsearch 提供了多种方式来实现模糊查询，Java 语言可以通过 Elasticsearch 的 API 来使用这些功能，实现强大的搜索功能。
java使用elasticsearch分组进行聚合查询过程解析
08-25
在 Java 中，我们可以使用 Elasticsearch 的 Java 客户端来实现分组聚合查询。 Elasticsearch 的聚合查询 Elasticsearch 的聚合查询可以对数据进行分组、聚合、排序等操作。聚合查询可以根据不同的字段进行分组，...
Elasticsearch学习--script
CelineT的博客
11-13 2055
doc['age'].value和doc['age']都能正确输出，doc['age'] * 0.9和doc['age'].value * 0.9也都不报错。，doc['age'].value和doc['age']都能正确输出，但是doc['age'] * 0.9报错。:会被加载到内存中，效率更高，更消耗内存，只允许简单类型，object和nested属于复杂类型。es源数据是map类型的，在取值的时候，要根据doc['x xx']取值。但是，painless，如果字段为空，*0.9会报错。
【弄nèng - Elasticsearch】DSL入门篇（十一）—— Script 脚本查询
司马缸砸缸了
12-05 1967
文章目录1. `Script Query` 比较大小过滤2. Script Query 数据处理项目推荐 脚本查询，语法跟版本有关，我是用的es是5.2.2 1. Script Query 比较大小过滤 POST schools/classes/_search { "query": { "bool" : { "must" : { ...
elasticesearch--script脚本
my_rough_life的博客
11-07 482
搜索引擎的script脚本
elasticsearch script 日期正则判断查询
weixin_42145354的博客
08-30 655
【代码】elasticsearch script 日期正则判断查询。
Elasticsearch初识之脚本查询附加示例代码（script）
hcj_ER的博客
01-05 830
Scripting是Elasticsearch支持的一种专门用于复杂场景下支持自定义编程的强大的脚本功能，ES支持多种脚本语言，如painless，其语法类似于Java,也有注释、关键字、类型、变量、函数等，其就要相对于其他脚本高出几倍的性能，并且安全可靠，可以用于内联和存储脚本
一起学Elasticsearch系列-脚本查询
BookSea的博客
01-01 1083
Elasticsearch的 Scripting 是一种允许你使用脚本来评估自定义表达式的功能。通过它，你可以实现更复杂的查询、数据处理以及柔性调整索引结构等
ElasticSearch之script语法使用
勤于笔记，成于点滴。
07-26 4592
script参数能够自由定义需要比较运算的字段
elastic search正则查询
05-22
Elasticsearch 支持在查询语句中使用正则表达式来进行模糊匹配查询。下面是一个简单的示例： ```json { "query": { "regexp": { "field_name": ".*pattern.*" } } } ``` 在上面的示例中，`field_name` 表示你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值