2024年最新ES实战-熔断器，2024年最新大数据开发黑科技实现原理揭秘

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

new bytes reserved: [2626/2.5kb],// D
usages [request=72/72b, fielddata=0/0b, in_flight_requests=2626/2.5kb, accounting=6830904/6. 5mb]]

上面的异常报了几组数据值，我用A,B,C,D进行标注，解释如下：

A处的数为C+D的值；

B处的数就是上限，超过这个就报错。（缺省是它是ES最大内存的95%);

C处的数值是你的本机上ES进程已使用的内存大小;

D处的数值1150就是你本次操作（或者说执行当前的任务）所需要内存;

C + D = A > B，所以报错了。

### 异常原因

最终定位结论：ES分配内存使用达到设定的极限值，触发了es熔断请求，ES一旦内存使用达到设定的内存限值，则触发熔断机制，不再响应任何请求。
报错信息中的“Elasticsearch exception [type=circuit_breaking_exception]表明是触发了熔断器导致报错，且日志显示实际使用量[1032637056/984. 7mb]已经超过了限制[1032637056/972.7mb]，故触发熔断机制。

#### 断路器（Circuit Breakers）

fielddata 大小是在数据加载 之后 检查的。
如果一个查询试图加载比可用内存更多的信息到 fielddata 中会发生什么？答案很丑陋：我们会碰到 OutOfMemoryException 。
Elasticsearch 包括一个 fielddata 断熔器 ，这个设计就是为了处理上述情况。 断熔器通过内部检查（字段的类型、基数、大小等等）来估算一个查询需要的内存。它然后检查要求加载的 fielddata 是否会导致 fielddata 的总量超过堆的配置比例。
如果估算查询的大小超出限制，就会 触发 断路器，查询会被中止并返回异常。这都发生在数据加载 之前 ，也就意味着不会引起 OutOfMemoryException 。

Elasticsearch 有一系列的断路器，它们都能保证内存不会超出限制：

indices.breaker.fielddata.limit
fielddata 断路器默认设置堆的 60% 作为 fielddata 大小的上限。

indices.breaker.request.limit
request 断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 40%。

indices.breaker.total.limit
total 揉合 request 和 fielddata 断路器保证两者组合起来不会使用超过堆内存的 70%。

断路器的限制可以在文件 config/elasticsearch.yml 中指定，可以动态更新一个正在运行的集群：
PUT /_cluster/settings
{
“persistent” : {
“indices.breaker.fielddata.limit” : “40%”
}
}

关于给 fielddata 的大小加一个限制，从而确保旧的无用 fielddata 被回收的方法。 indices.fielddata.cache.size 和 indices.breaker.fielddata.limit 之间的关系非常重要。 如果断路器的限制低于缓存大小，没有数据会被回收。为了能正常工作，断路器的限制 必须 要比缓存大小要高。

#### 断路器设置


##### 断路器目的


ES通过断路器的设置，来保护集群内存不超过设定值，从而保证集群的稳定性。

Elasticsearch 包含多个断路器，用于防止操作导致 OutOfMemoryError。每个断路器指定它可以使用多少内存的限制。此外，还有一个父级断路器，用于指定可跨所有断路器使用的内存总量。

##### 断路器种类


###### 父断路器(parent circuit breaker)

可以使用以下设置配置父级断路器：
indices.breaker.total.use_real_memory
确定父断路器是否应考虑实际内存使用量 ( true) 或仅考虑子断路器保留的数量 ( false)。默认为true.

indices.breaker.total.limit
整个父断路器的启动限制。
如果indices.breaker.total.use_real_memory是 false ，则默认为 JVM 堆的 70%。
如果indices.breaker.total.use_real_memory 是true，则默认为 JVM 堆的 95%。

###### 字段数据断路器(Field data circuit breaker)

字段数据断路器估计将字段加载到字段数据缓存中所需的堆内存。如果加载该字段会导致缓存超出预定义的内存限制，则断路器将停止操作并返回错误。

indices.breaker.fielddata.limit
字段数据断路器的限制。默认为 JVM 堆的 40%。

indices.breaker.fielddata.overhead
一个常数，与所有现场数据估计相乘以确定最终估计。默认为1.03.

###### 请求断路器(Request circuit breaker)

请求断路器允许 Elasticsearch 防止每个请求的数据结构（例如，用于在请求期间计算聚合的内存）超过一定的内存量。

indices.breaker.request.limit
请求断路器的限制，默认为 JVM 堆的 60%。request断路器估算需要完成其他请求部分的结构大小，例如创建一个聚合桶，默认限制是堆内存的 60%。它实际上是node level的一个统计值，统计的是这个结点上，各类查询聚合操作，需要申请的Bigarray的空间大小总和。 所以如果有一个聚合需要很大的空间，同时在执行的聚合可能也会被break掉。

indices.breaker.request.overhead
所有请求估计乘以确定最终估计的常数。默认为1。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取