spark io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s)

最新推荐文章于 2023-12-19 18:20:41 发布
最新推荐文章于 2023-12-19 18:20:41 发布
阅读量5.6k 收藏 1
点赞数 3
分类专栏： Spark 文章标签： spark scala big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/onway_goahead/article/details/117741199
版权

报错日志：

1.报错日志：

​
 WARN TaskSetManager: Lost task 29.0 in stage 22.0 (TID 1851, wn108-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, executor 25): FetchFailed(BlockManagerId(2, wn107-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, 7447, None), shuffleId=12, mapId=4, reduceId=29, message=
org.apache.spark.shuffle.FetchFailedException: failed to allocate 16777216 byte(s) of direct memory (used: 5721030656, max: 5726797824)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:528)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:459)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:62)
	at scala.collection.Iterator$$anon$12.nextCur(Iterator.scala:434)
	at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:440)
	at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
	at org.apache.spark.util.CompletionIterator.hasNext(CompletionIterator.scala:30)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
	at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage9.processNext(Unknown Source)
	at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
	at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$10$$anon$1.hasNext(WholeStageCodegenExec.scala:614)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$SingleDirectoryWriteTask.execute(FileFormatWriter.scala:380)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:269)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:267)
	at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1415)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:272)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1.apply(FileFormatWriter.scala:197)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1.apply(FileFormatWriter.scala:196)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
	at org.apache.spark.scheduler.Task.run(Task.scala:109)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:345)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 5721030656, max: 5726797824)
	at io.netty.util.internal.PlatformDependent.incrementMemoryCounter(PlatformDependent.java:640)
	at io.netty.util.internal.PlatformDependent.allocateDirectNoCleaner(PlatformDependent.java:594)
	at io.netty.buffer.PoolArena$DirectArena.allocateDirect(PoolArena.java:764)
	at io.netty.buffer.PoolArena$DirectArena.newChunk(PoolArena.java:740)
	at io.netty.buffer.PoolArena.allocateNormal(PoolArena.java:244)
	at io.netty.buffer.PoolArena.allocate(PoolArena.java:226)
	at io.netty.buffer.PoolArena.allocate(PoolArena.java:146)
	at io.netty.buffer.PooledByteBufAllocator.newDirectBuffer(PooledByteBufAllocator.java:324)
	at io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:185)
	at io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:176)
	at io.netty.buffer.AbstractByteBufAllocator.ioBuffer(AbstractByteBufAllocator.java:137)
	at io.netty.channel.DefaultMaxMessagesRecvByteBufAllocator$MaxMessageHandle.allocate(DefaultMaxMessagesRecvByteBufAllocator.java:80)
	at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:122)
	at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:645)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:580)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:497)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:459)
	at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858)
	at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138)
	... 1 more

)
21/06/08 13:32:08 WARN TaskSetManager: Lost task 43.0 in stage 22.0 (TID 1865, wn108-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, executor 26): FetchFailed(BlockManagerId(2, wn107-cdlcns.bjduloineequ3adfbkrpgi4p2c.shax.internal.chinacloudapp.cn, 7447, None), shuffleId=12, mapId=4, reduceId=43, message=
org.apache.spark.shuffle.FetchFailedException: failed to allocate 16777216 byte(s) of direct memory (used: 5721030656, max: 5726797824)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.throwFetchFailedException(ShuffleBlockFetcherIterator.scala:528)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:459)
	at org.apache.spark.storage.ShuffleBlockFetcherIterator.next(ShuffleBlockFetcherIterator.scala:62)
	at scala.collection.Iterator$$anon$12.nextCur(Iterator.scala:434)
	at scala.collection.Iterator$$anon$12.hasNext(Iterator.scala:440)
	at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
	at org.apache.spark.util.CompletionIterator.hasNext(CompletionIterator.scala:30)
	at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37)
	at scala.collection.Iterator$$anon$11.hasNext(Iterator.scala:408)
	at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage9.processNext(Unknown Source)
	at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
	at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$10$$anon$1.hasNext(WholeStageCodegenExec.scala:614)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$SingleDirectoryWriteTask.execute(FileFormatWriter.scala:380)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:269)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:267)
	at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1415)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:272)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1.apply(FileFormatWriter.scala:197)
	at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$write$1.apply(FileFormatWriter.scala:196)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
	at org.apache.spark.scheduler.Task.run(Task.scala:109)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:345)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 5721030656, max: 5726797824)
	at io.netty.util.internal.PlatformDependent.incrementMemoryCounter(PlatformDependent.java:640)
	at io.netty.util.internal.PlatformDependent.allocateDirectNoCleaner(PlatformDependent.java:594)
	at io.netty.buffer.PoolArena$DirectArena.allocateDirect(PoolArena.java:764)
	at io.netty.buffer.PoolArena$DirectArena.newChunk(PoolArena.java:740)
	at io.netty.buffer.PoolArena.allocateNormal(PoolArena.java:244)
	at io.netty.buffer.PoolArena.allocate(PoolArena.java:226)
	at io.netty.buffer.PoolArena.allocate(PoolArena.java:146)
	at io.netty.buffer.PooledByteBufAllocator.newDirectBuffer(PooledByteBufAllocator.java:324)
	at io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:185)
	at io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:176)
	at io.netty.buffer.AbstractByteBufAllocator.ioBuffer(AbstractByteBufAllocator.java:137)
	at io.netty.channel.DefaultMaxMessagesRecvByteBufAllocator$MaxMessageHandle.allocate(DefaultMaxMessagesRecvByteBufAllocator.java:80)
	at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:122)
	at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:645)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:580)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:497)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:459)
	at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858)
	at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138)
	... 1 more

)

​

2.错误分析：

 shuffle分为shuffle write和shuffle read两部分。

这两部是采用Netty框架，日志就是netty内存泄漏问题.
         shuffle write的分区数由上一阶段的RDD分区数控制，shuffleread的分区数则是由Spark提供的一些参数控制。

         shuffle write可以简单理解为类似于saveAsLocalDiskFile的操作，将计算的中间结果按某种规则临时放到各个executor所在的本地磁盘上。

         shuffle read的时候数据的分区数则是由spark提供的一些参数控制。可以想到的是，如果这个参数值设置的很小，同时shuffle read的量很大，那么将会导致一个task需要处理的数据非常大。结果导致JVM crash，从而导致取shuffle数据失败，同时executor也丢失了，看到Failed to connect to host的错误，也就是executor lost的意思。有时候即使不会导致JVMcrash也会造成长时间的gc。
 

3. 解决方案：

 知道原因后问题就好解决了，主要从shuffle的数据量和处理shuffle数据的分区数两个角度入手。

1.        减少shuffle数据

         思考是否可以使用map side join或是broadcastjoin来规避shuffle的产生。

将不必要的数据在shuffle前进行过滤，比如原始数据有20个字段，只要选取需要的字段进行处理即可，将会减少一定的shuffle数据。

2.        SparkSQL和DataFrame的join,groupby等操作

         通过spark.sql.shuffle.partitions控制分区数，默认为200，根据shuffle的量以及计算的复杂度提高这个值。

3.        Rdd的join,groupBy,reduceByKey等操作

         通过spark.default.parallelism控制shuffleread与reduce处理的分区数，默认为运行任务的core的总数（mesos细粒度模式为8个，local模式为本地的core总数），官方建议为设置成运行任务的core的2-3倍。

4.        提高executor的内存

         通过spark.executor.memory适当提高executor的memory值。

5.        是否存在数据倾斜的问题

         空值是否已经过滤？异常数据（某个key数据特别大）是否可以单独处理？考虑改变数据分区规则。
 

灵佑666
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何做一个科研人.zip
01-09
How to be a modern scientist --Jeffrey Leek 完整清晰版本，对刚入学的研究生非常有帮助，让你懂得如何去科研，去写文章，去用那些工具，在哪里找到资源；
netty 服务器报 failed to allocate direct memory 问题解决思路
weixin_42226343的博客
11-28 6292
1、问题描述： 服务器连续运行30天之后报 failed to allocate 16777216 byte(s) of direct memory 具体的报错信息如下： io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct me...
FIX :io.netty.util.internal.OutOfDirectMemoryError: failed to allocate
a18700870087的博客
03-13 1998
netty 服务报错：io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 776021360 byte(s) of direct memory (used: 1887672356, max: 2058354688)5、增加参数：-Dio.netty.leakDetectionLevel=PARANOID 日志打印内存泄漏日志。jcmd [pid ] VM.native_memory scale=MB 查看所有占用内存情况；
SpringCloudGateway 3.1.4版本 Netty内存泄漏问题解决
最新发布
新菜嚻最火的博客
12-19 2029
解决 Gateway产生的堆外内存泄漏 io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 2048 byte(s) of direct memory (used: 2095623, max: 2097152)
netty内存溢出OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 2595225
热门推荐
againI的博客
10-27 2万+
使用netty框架做客户端服务器，项目运行一段时间后发现如下异常： 异常信息：OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 251658240, max: 259522560) 15:01:14.034 [nioEventLoopGroup-2-1] WARN io.netty.channel.DefaultChannelPipeline - An exceptionCaught()
netty报错：io.netty.util.internal.OutOfDirectMemoryError: failed to allocate ...
qq_36724501的博客
12-13 1万+
io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 上周出现一个问题，一个netty程序在运行几个小时候就出现了这种情况，内存满了，后来经过排查发现了这个问题： 如果出现这个问题，请看看你的diamante中是否出现了这样创建ByteBuf的情况： ByteBuf byteBuf = Unpooled.direct...
io.netty.util.internal.OutOfDirectMemoryError
lquarius的博客
07-20 5194
spark.maxRemoteBlockSizeFetchToMem(默认512m) 当远程块的大小以字节计超过此阈值时，将获取到磁盘。这是为了避免占用太多内存的巨大请求。默认情况下，这只对> 2GB的块启用，因为无论有什么资源可用，这些块都不能直接提取到内存中。但是，它可以被降低到一个更低的价值。以避免在较小的块上使用太多的内存。注意，此配置将影响洗牌获取和块管理器远程块获取。对于启用外部shuffle服务的用户，此功能只能在外部使用 要求：spark.shuffle.servi...
webClient 出现io.netty.util.internal.OutOfDirectMemoryError
kkxuwork的博客
01-24 790
问题描述： 使用webClient调用第三方接口进行文件上传操作，在并发量升高的情况下，出现异常： io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 2130706439, max: 2147483648) at io.netty.util.internal.PlatformDependent.incrementMemoryCou
netty io.netty.util.internal.OutOfDirectMemoryError
潇洒不放纵的博客
03-27 4780
在个自己写的代码加入redis缓存后,使用JMeter进行压力测试时出现这个问题: io在使用netty时出现的堆外内存溢出异常,这种情况一般在大并发情况下较多出现 问题原因 出现其的原因:springboot整合redis在2.0以后默认使用lettuce来操作redis客户端, 而他使用netty进行网络通讯的 我在开发中并没有指定堆外内存,只是指定了-Xmx100m; netty如果没有指定堆外内存 ,默认使用-Xmx100m;但是,无论你将内存设置为多大,只要有足够大的并发,此异常一定会出现!(
netty-all-4.1.29.Final-sources.jar 最新版netty源码
08-31
本jar包为最新的netty-all-4.1.29c.jar 可导入直接用 ... As a result, Netty has succeeded to find a way to achieve ease of development, performance, stability, and flexibility without a compromise.
netty-codec-dns-4.1.65.Final-API文档-中英对照版.zip
07-13
Maven坐标：io.netty:netty-codec-dns:4.1.65.Final； 标签：netty、codec、dns、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，...
netty-all-4.1.22.Final.jar netty最新版jar包，直接导入
08-16
建立管理长连接、推送、通知、数据传输、自定义协议等等 ... As a result, Netty has succeeded to find a way to achieve ease of development, performance, stability, and flexibility without a compromise.
netty-3.9.9.Final-API文档-中文版.zip
05-01
Maven坐标：io.netty:netty:3.9.9.Final； 标签：netty、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，...
outofDirectMemoryError:failed to allocate 16777216 byte(s) of direct memory(used:1728053255,max:)
wzhwangzhuohui的博客
03-24 1035
记录一个错误，内存泄漏的错误，现在还没有彻底解决，正在寻找解决方法。目前的解决方法：是重启linux上部署的对应的微服务。
填坑netty io.netty.util.internal.OutOfDirectMemoryError
weixin_30525825的博客
05-09 6359
我们有个与外部交互的接口是采用netty http，具体版本netty-4.1.18，为什么使用这个版本，我也不知道，历史原因。 由于netty都是异步请求，所以与外部交互总有些唯一的业务标识需要保存，以便前后数据可以勾兑。 这里先说明下，netty里的ByteBuf在读取channelRead未进行写write操作时，需要自己释放release。这和本次Error关系不大，继续说重...
io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 37748736 byte(s) of direct memory
CSY的博客
01-31 3602
/** * TODO 产生堆外内存溢出 OutOfDirectMemoryError * 1、SpringBoot2.0以后默认使用 Lettuce作为操作redis的客户端，它使用 netty进行网络通信 * 2、lettuce 的bug导致netty堆外内存溢出，-Xmx300m netty 如果没有指定堆内存移除，默认使用 -Xmx300m * 可以通过-Dio.netty.maxDirectMemory 进行设置 * 解决方案 不能使用 -Dio.netty.maxDirectMemo
springboot redis 高并发遇到的坑：io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 901775360
记录点滴
09-23 3056
这个是使用了lettuce的原因，lettuce有此bug，解决办法 改为使用jedis，具体操作如下 一、在pom.xml中添加排除lettuce包并添加jedis的依赖 <!-- redis conf --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</arti
io.netty.handler.codec.EncoderException: io.netty.util.internal.OutOfDirectMemoryError
qq_36493719的博客
10-21 5157
记一bug 2021/10/20 21:44:34.713 ERROR [reactor-http-epoll-2] r.n.h.s.HttpServerOperations : [id: 0xa504247f, L:/172.17.0.8:8443 - R:/172.17.0.1:36452] Error finishing response. Closing connection io.netty.handler.codec.EncoderException: io.netty.util.interna
io.netty.util.internal.outofdirectmemoryerror: failed to allocate 16777216 b
10-06
io.netty.util.internal.outofdirectmemoryerror: failed to allocate 16777216 b 是一个错误提示，意味着在使用 io.netty 这个库时，尝试分配 16,777,216 字节的直接内存时出现了错误。 出现这个错误通常是由于系统中的直接内存不足导致的。直接内存是一种通过 Native Memory 来直接分配内存的方式，与 Java 堆内存不同。由于直接内存不受 JVM 垃圾回收的控制，因此需要手动释放。 解决这个问题的方法有以下几种： 1. 增加直接内存的容量：可以通过修改 JVM 的启动参数，增加直接内存的最大容量。可以使用 -XX:MaxDirectMemorySize 参数指定最大直接内存大小。例如，可以设置为 -XX:MaxDirectMemorySize=1g 来将最大直接内存大小设置为 1GB。 2. 检查代码中的资源是否正确释放：如果在代码中使用了 io.netty 这个库，需要确保在使用完毕后正确释放资源。可以通过调用相关的 close() 或者 release() 方法来释放所占用的直接内存。 3. 调整程序的设计：如果程序中的网络请求或者数据处理量非常大，考虑对程序进行优化，减少对直接内存的依赖。可以通过合理缓存、分批处理等方式来减少直接内存的使用。 总之，当出现 io.netty.util.internal.outofdirectmemoryerror: failed to allocate 16777216 b 错误时，需要检查直接内存的容量是否足够，释放资源是否正确，以及是否需要对程序进行优化，减少对直接内存的依赖。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值