Spark在shuffle数据的时候遇到的问题

最新推荐文章于 2024-09-18 15:35:46 发布

明太鱼

最新推荐文章于 2024-09-18 15:35:46 发布

阅读量2w

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/u010270082/article/details/50848392

版权

在执行大数据集的leftOuterJoin操作时，遇到了`Connection reset by peer`的异常。错误出现在shuffle阶段，网络传输过程中节点间通信出错。通过检查Spark UI，发现task存在相同错误。解决方案是在Spark配置中将`spark.shuffle.blockTransferService`设置为`nio`，以应对Netty传输数据时可能出现的问题。

摘要由CSDN通过智能技术生成

问题描述：今天对比较大的数据集a做，a.leftOuterJoin(b)的操作的时候，出现错误，查看log，错误如下：

WARN org.apache.spark.network.server.TransportChannelHandler: Exception in connection from /10.114.2.44:61221
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:192)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379)
        at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:313)
        at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:881)
        at io.netty.channel.socket.nio.NioSocketChannel.doR