java解决 es(elasticsearch)查询数据超出10000条报错

这是因为es默认的查询最大值是10000,查询的条数超出这个值就会报错,通过查资料得知,影响查询的是这个配置 max_result_window,因此我们需要修改这个默认值。

这里我采用的是HttpPut请求的方式修改es的配置,代码如下

/**
	 * 原生字符串发送put请求
	 *
	 * @param url
	 * @param jsonStr
	 * @return
	 * @throws ClientProtocolException
	 * @throws IOException
	 */
	public static String doPut(String url, String jsonStr) {

		CloseableHttpClient httpClient = HttpClients.createDefault();
		HttpPut httpPut = new HttpPut(url);
		RequestConfig requestConfig = RequestConfig.custom().setConnectTimeout(35000).setConnectionRequestTimeout(35000).setSocketTimeout(60000).build();
		httpPut.setConfig(requestConfig);
		httpPut.setHeader("Content-type", "application/json");
		httpPut.setHeader("DataEncoding", "UTF-8");

		CloseableHttpResponse httpResponse = null;
		try {
			httpPut.setEntity(new StringEntity(jsonStr));
			httpResponse = httpClient.execute(httpPut);
			HttpEntity entity = httpResponse.getEntity();
			String result = EntityUtils.toString(entity);
			return result;
		} catch (ClientProtocolException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally {
			if (httpResponse != null) {
				try {
					httpResponse.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			if (null != httpClient) {
				try {
					httpClient.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		}
		return null;
	}

	public static void main(String[] args) throws Exception{
		net.sf.json.JSONObject jsonObject = new JSONObject();
		jsonObject.put("index.max_result_window", 300000);//设定最大检索值
		System.out.println(doPut("http://ip:9200/search/_settings", jsonObject.toString()));
	}

返回值如下,则代表修改配置成功,再次查询es时,300000条的数据之内都不会报错

{"acknowledged":true}

网上搜索了一些方案, 都不能满足自己的需求,于是整理的一套这个方案。算是比较笨的方法,如果有更好地方案欢迎指正。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java 代码中,使用 Elasticsearch 进行分页查询获取超过 20000 条数据的方法如下: 1. 首先,创建一个 RestHighLevelClient 实例,用于与 Elasticsearch 进行通信: ```java RestHighLevelClient client = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost", 9200, "http"))); ``` 2. 然后,构建一个 SearchRequest 对象,设置要查询的索引和查询条件: ```java SearchRequest searchRequest = new SearchRequest("your_index_name"); SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(QueryBuilders.matchAllQuery()); sourceBuilder.size(100); // 设置每页返回的数据量 sourceBuilder.from(20000); // 设置查询的起始位置 searchRequest.source(sourceBuilder); ``` 3. 执行搜索请求,并处理搜索结果: ```java SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); SearchHits hits = searchResponse.getHits(); SearchHit[] searchHits = hits.getHits(); for (SearchHit hit : searchHits) { // 处理每个搜索结果 String sourceAsString = hit.getSourceAsString(); // ... } client.close(); // 关闭客户端 ``` 上述代码中的 `size` 方法用于设置每页返回的数据量,`from` 方法用于设置查询的起始位置。通过调整这两个参数,可以实现分页查询获取超过 20000 条数据。 请注意,当数据量很大时,可能会对 Elasticsearch 的性能产生影响。为了提高性能,你可以使用滚动搜索(scroll)等技术来处理大量数据查询。这超出了本回答的范围,你可以查阅 Elasticsearch 的官方文档来了解更多信息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值