关于Elasticsearch 运行过程出现问题的相关思考

最新推荐文章于 2022-05-29 16:25:46 发布

weixin_34400525

最新推荐文章于 2022-05-29 16:25:46 发布

阅读量82

点赞数

文章标签：大数据 netty python

原文链接：https://my.oschina.net/u/937015/blog/784002

版权

2019独角兽企业重金招聘Python工程师标准>>>

1 Direct Memory OOM问题

在服务端出现过,在客户端也出现过,都是netty在写数据时发生错误.

服务端出现时分为两部分: 1 merge阶段报出Direct buffrer memory异常,2是在客户端向服务端发送请求等待响应的过程中,报出Direct buffrer memory异常.

由于Elasticsearch版本为1.3.1 ,发现其报错位置在netty组件调用过程中,总结起来的过程就是当写入时,目标处理速率过低,和写入速率比,大幅落后的情况下,就会报出这个异常.

在客户端写入ES时,发现ES只分配1g内存,执行速度受gc影响较慢,大批量创建索引,客户端就会包这个异常,同时服务端会崩溃.

转载于:https://my.oschina.net/u/937015/blog/784002

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34400525

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

一次堆外OOM问题排查

蜗牛的专栏

07-22

6553

线上服务有一台机器访问不通（一个管理平台),在公司的服务治理平台上查看服务的状况是正常的，说明进程还在。进程并没有完全crash掉。去线上查看机器日志，发现了大量

实习成长之路：关于ElasticSearch深度分页带来的思考，如何解决深度分页和跳页

萌新Java工程师

03-18

3037

ElasticSearch的深度分页带来的问题，一些思考，

参与评论您还未登录，请先登录后发表或查看评论

ES 堆对外内存溢出

qqqq0199181的博客

03-18

3497

异常： java.lang.OutOfMemoryError: Direct buffer memory 解决将ES的jvm参数配置中的-XX:+DisableExplicitGC去掉，因为这个参数可能会导致对外内存的垃圾无法被回收。具体原因分析看如下： -XX:+DisableExplicitGC 与对外内存的关系：https://iamzhongyong.iteye.com/blog/17...

Netty报Direct buffer memory错误

u010906369的专栏

12-02

1万+

最近在基于Netty实现NIO方面做应用底层通讯架构（服务发现，分布式，高可用，软负载）。遇到java.lang.OutOfMemoryError: Direct buffer memory内存溢出错误，查了很多网上材料都不好使，这里总结一下我的解决方案。原因：Netty启用了堆外内存DirectByteBuffer实现了零拷贝，堆外内存对young gc免疫，只有在full gc的时候才被收

OOM之Direct buffer memory

lixinkuan的博客

12-22

3835

Java中的常见OOM有： java.lang.StackOverFlowError:栈溢出（其实属于SOFE） java.lang.OutOfMemoryError: java heap space java.lang.OutOfMemoryError: GC overhead limit exceeded java.lang.OutOfMemoryError: Direct buffe...

发生java.lang.OutOfMemoryError: Direct buffer memory

Viking的博客

12-04

1万+

下面是在掉坑了，出现了一次 java.lang.OutOfMemoryError: Direct buffer memory 错误后的总结。发生原因：用来 nio ，但是 direct buffer 不够解决办法1）检查是否直接或间接使用了 nio ，例如手动调用生成 buffer 的方法或者使用了 nio 容器如 netty， jetty， tomcat 等等；2）-XX:MaxDirect

Direct buffer memory

喝醉的咕咕鸟

04-23

1万+

Direct buffer memory:主要应NIO引起的。原因： Java8出现了NIO，缓存，通道，选择器。在写NIO程序的时候，经常使用ByteBuffer来读或者写入数据,这是一种基于通道( Channel)与缓冲区( Buffer)的I/0方式.它可以使用 Native函数库直接分配堆外内存,然后通过一个存做在Java里面的 DirectByteBuffer对作为这...

jvm内存参数配置_了解elasticsearch 相关JVM

weixin_39781930的博客

10-29

434

原文链接: 从2006年的java6 到现在java7无论是性能或其它方面都有了很大的改进，我们没有理由不在使用Java7,我个人也认为java7在内存方面比java6优秀. 这使我有对java6和java7及es在jvm设置有了很大的趣兴，因此写一篇博文一探其中之道。 Es已经预先为我们的JVM进行了一些设置，而且这些设置都是比较好的，现在...

ElasticSearch

ReZero_486的博客

05-29

367

ElasticSearch简介什么是ElasticSearch EFlaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 ElasticSearch的使用案例 2013年初，GitHub抛弃了Solr，采

Elasticsearch集群搭建

weixin_41487487的博客

03-10

2972

目录 WIndow集群 Linux集群单点部署集群部署 ES优化硬件选择分片策略推迟分片分配路由选择写入速度优化批量数据提交优化存储设备合理使用合并减少Refresh的次数加大Flush设置减少副本的数量内存设置重要配置 WIndow集群创建elasticsearch-cluster文件夹，在内部复制三个elasticsearch服务修改集群文件目录下每个节点的config/elasticsearch.yml配置文件

Elasticsearch 入门(7)：Elasticsearch 集成，SpringData 框架，ES的优化

Mr_tianyanxiaobai的博客

11-14

1833

Spring Data 框架集成简介 Spring Data 是一个用于简化数据库、非关系型数据库、索引库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持 map-reduce 框架和云计算数据服务。 Spring Data 可以极大的简化 JPA（Elasticsearch）的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了 CRUD 外，还包括如分页、排序等一些常用的功能。 Spring Data 的官网：https://spring.io/pro

Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory

DreamWeaver_Zhou

09-27

9115

这篇文章是我在粗略学习kafka时遇到的问题和网上查阅过的资料。kafka和java我都不是很熟悉，只知道基本的概念。文章中可能有疏漏和错误的地方，大家参考一下就好。有错误拜托大家指正！ broker端配置文件需要配置的参数 message.max.bytes : kafka 会接收单个消息size的最大限制，默认为1M左右。如果producer发送比这个大的消息，kafka默认会丢掉。p...

elasticsearch启动时提示内存不足错误的解决方法

qq_36663951的博客

06-14

7132

elasticsearch5.0 启动失败，出现如下提示：Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)由于 elasticsearch5.0 ...

java.lang.OutOfMemoryError: Direct buffer memory 异常解决

baidu_37313657的博客

03-23

1万+

原因写NIO程序经常使用ByteBuffer来读取或者写入数据，这是一种基于通道(Channel)与缓冲区(Buffer)的I/O方式，它可以使用Native函数库直接分配堆外内存，然后通过一个存储在java堆里面的DirectByteBuffer对象作为这块内存的引用进行操作。 ByteBuffer.allocate(capability)是分配JVM堆内存，属于GC管辖范围，由于需要拷贝速度...

elasticsearch 内存溢出

yixiaoqi2010的专栏

12-22

7006

ES在做聚合的时候，容易发生内存溢出https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html

elasticSearch常见问题答疑

热门推荐

lauyiran的博客

01-17

3万+

1.ES不是什么 ES不是可靠的存储系统，不是数据库，它有丢数据的风险。具体请参考ES内部分享中的ES简介这个文档 2.为什么一条数据写入后马上查询查不到？ ES不是实时系统，数据写入成功只是trans log成功（类似于mysql的bin log），写入成功后立刻查询查不到是正常的。因为数据此刻可能还在内存里而不是进入存储引擎里。同理，删除一条数据后也不是马上消失写入何时可查询？ES内部有一...

ES内存那点事

很多时候，你缺少的不是知识而是热情

01-13

1万+

“该给ES分配多少内存？” “JVM参数如何优化?“ “为何我的Heap占用这么高？” “为何经常有某个field的数据量超出内存限制的异常？“ “为何感觉上没多少数据，也会经常Out Of Memory？” 以上问题，显然没有一个统一的数学公式能够给出答案。和数据库类似，ES对于内存的消耗，和很多因素相关，诸如数据总量、mapping设置、查询方式、查询频度等等。默认的设置虽开

DirectBuffer及内存泄漏

周宏亮G的日志

06-28

1万+

创建Buffer对象时，可以选择从JVM堆中分配内存，也可以OS本地内存中分配，由于本地缓冲区避免了缓冲区复制，在性能上相对堆缓冲区有一定优势，但同时也存在一些弊端。两种缓冲区对应的API如下：JVM堆缓冲区：ByteBuffer.allocate(size)本地缓冲区：ByteBuffer.allocateDirect(size)从堆中分配的缓冲区为普通的Java对象，生

滴滴Elasticsearch集群跨版本升级与平台重构实践

"该文档是关于滴滴出行在升级其Elasticsearch集群至6.x版本时面临...这个文档详细记录了滴滴出行在Elasticsearch集群跨版本升级过程中的思考、实践和经验，对于大型企业或组织在处理类似升级问题时具有很高的参考价值。