java.nio.channels.SocketChannel[connection-pending remote=/xx.xx.xx.xx:9866]

最新推荐文章于 2024-01-18 05:00:00 发布
最新推荐文章于 2024-01-18 05:00:00 发布
阅读量366 收藏 1
点赞数
文章标签： hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiangzi_lg/article/details/133696302
版权

目录

背景

问题描述

解决办法

背景

CDH集群在内网中部署，外网客户端需要正常提交任务到内网集群Yarn上，但外网客户端和内网网络不能直接连通，于是通过将内网中的每台主机绑定一个浮动ip，然后开通外网客户端和浮动ip之间的网络来实现上述需求。

问题描述

外网客户端通过连接浮动ip来提交任务到内网集群，任务提交到Yarn之后，集群返回响应内容给客户端，但响应内容中涉及的节点信息均为内网ip，导致客户端无法连接。具体报错如下：

[INFO] 2023-09-20 16:44:50.515  - [taskAppId=TASK-12637-0-7787]:[138] -  -> 2023-09-20 16:44:49,952 INFO  org.apache.hadoop.hdfs.DataStreamer                          [] - Exception in createBlockOutputStream
	org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.17.0.8:9866]
		at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:534) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createSocketForPipeline(DataStreamer.java:259) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1692) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1648) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:704) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
	2023-09-20 16:44:49,964 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Abandoning BP-1309512692-172.17.0.6-1691719706686:blk_1073803089_62280
	2023-09-20 16:44:49,980 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Excluding datanode DatanodeInfoWithStorage[172.17.0.8:9866,DS-961a5b2e-c2a1-46a3-bfdd-3910d2570bb3,DISK]
[INFO] 2023-09-20 16:45:50.524  - [taskAppId=TASK-12637-0-7787]:[138] -  -> 2023-09-20 16:45:50,043 INFO  org.apache.hadoop.hdfs.DataStreamer                          [] - Exception in createBlockOutputStream
	org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.17.0.6:9866]
		at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:534) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createSocketForPipeline(DataStreamer.java:259) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1692) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1648) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:704) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
	2023-09-20 16:45:50,044 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Abandoning BP-1309512692-172.17.0.6-1691719706686:blk_1073803091_62282
	2023-09-20 16:45:50,053 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Excluding datanode DatanodeInfoWithStorage[172.17.0.6:9866,DS-3a03d2ae-c218-44f6-80b6-253cb6ada508,DISK]
[INFO] 2023-09-20 16:46:50.415  - [taskAppId=TASK-12637-0-7787]:[127] - shell exit status code：1
[ERROR] 2023-09-20 16:46:50.415  - [taskAppId=TASK-12637-0-7787]:[137] - process has failure , exitStatusCode : 1 , ready to kill ...
[INFO] 2023-09-20 16:46:50.534  - [taskAppId=TASK-12637-0-7787]:[138] -  -> 2023-09-20 16:46:50,083 INFO  org.apache.hadoop.hdfs.DataStreamer                          [] - Exception in createBlockOutputStream
	org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.17.0.4:9866]
		at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:534) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createSocketForPipeline(DataStreamer.java:259) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1692) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1648) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:704) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
	2023-09-20 16:46:50,084 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Abandoning BP-1309512692-172.17.0.6-1691719706686:blk_1073803093_62284
	2023-09-20 16:46:50,091 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - Excluding datanode DatanodeInfoWithStorage[172.17.0.4:9866,DS-5363866a-d143-42f7-85bb-a8236e0bbc41,DISK]
	2023-09-20 16:46:50,105 WARN  org.apache.hadoop.hdfs.DataStreamer                          [] - DataStreamer Exception
	org.apache.hadoop.ipc.RemoteException: File /user/hdfs/.flink/application_1691720545069_0007/chunjun/bin/chunjun-docker.sh could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation.
		at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2102)
		at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:294)
		at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2673)
		at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:872)
		at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:550)
		at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
		at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
		at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
		at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
		at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
		at java.security.AccessController.doPrivileged(Native Method)
		at javax.security.auth.Subject.doAs(Subject.java:422)
		at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
		at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)
	
		at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1489) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.ipc.Client.call(Client.java:1435) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.ipc.Client.call(Client.java:1345) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at com.sun.proxy.$Proxy30.addBlock(Unknown Source) ~[?:?]
		at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:444) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[?:1.8.0_211]
		at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[?:1.8.0_211]
		at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[?:1.8.0_211]
		at java.lang.reflect.Method.invoke(Method.java:498) ~[?:1.8.0_211]
		at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:409) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:346) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at com.sun.proxy.$Proxy31.addBlock(Unknown Source) ~[?:?]
		at org.apache.hadoop.hdfs.DataStreamer.locateFollowingBlock(DataStreamer.java:1838) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1638) ~[flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
		at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:704) [flink-shaded-hadoop-2-uber-2.8.3-10.0.jar:2.8.3-10.0]
	2023-09-20 16:46:50,112 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli                [] - Error while running the Flink session.

解决办法

  • 思路1

客户端配置主机映射，将内网ip映射为浮动ip，经过尝试，该方案不可行。

  • 思路2

修改HDFS配置

  <property>
     <name>dfs.clientuse.datanode.hostname</name>
     <value>true</value>
  </property>

qiangzi_lg
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JDK1.7 之java.nio.file.Files 读取文件仅需一行代码实现
08-28
下面小编就为大家分享一篇JDK1.7 之java.nio.file.Files 读取文件仅需一行代码实现，具有很好的参考价值，希望对大家有所帮助
java org.apache.http.nio jar包
10-11
找了好久，终于找到了，java刷新同步获取网络资源
nio.rar_NIO_NIO-socket_java nio_java 实例_java.nio
09-19
java nio 编程一个实例子.服务端程序
java的基于NIO的socketChannel（无阻塞IO）
qq_44079295的博客
12-04 269
Server： package SocketTest; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio
NIO阻塞模式和非阻塞模式的处理
热门推荐
大佛拈花的博客
06-21 1万+
文章目录一、NIO阻塞服务端客户端代码二、NIO非阻塞设置三、ServerSocketChannel四、NIO Selector处理accept1、Selector的创建2、服务端3、客户端4、取消事件5、处理read事件5.1、处理空指针异常5.2、IO异常 一、NIO阻塞服务端 下面演示的代码是单线程处理服务端的连接，以及读取数据。 import java.io.IOException; import java.net.InetSocketAddress; import java.nio.Buffer
java socket客户端 nio_NIO【同步非阻塞io模型】关于 NIO socket 的详细总结【Java客户端+Java服务端 + 业务层】【可以客户端间发消息】...
weixin_36295555的博客
02-24 975
1.前言以前使用 websocket来实现双向通信，如今深入了解了 NIO 同步非阻塞io模型 ，优势是 处理效率很高，吞吐量巨大，能很快处理大文件，不仅可以 做 文件io操作，还可以做socket通信 、收发UDP包、Pipe线程单向数据连接。这一篇随笔专门讲解 NIO socket通信具体操作注意：这是重点！！！兴趣集合有4个事件，分别是：SelectionKey.OP_ACCEPT ...
java nio的学习-7
geli_hero的专栏
05-06 1932
continue----------------------------------->>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Socket 通道：Socket 通道有与文件通道不同的特征。 新的socket 通道类可以运行非阻塞模式并且是可选择的。这两个性能可以激活大程序（如网络服务器和中间件组件）巨大的可伸缩性和灵活性。本节中我们会看到，再也没有为每
《转载》Java 连接Kafka报错java.nio.channels.ClosedChannelExcep
凤歌
11-15 5888
https://my.oschina.net/chiyong/blog/522998解决: 配置Host
未关闭java.nio.channels.SocketChannel可导致Too many open files
dzhwang的博客
04-07 465
在调用静态open方法创建java.nio.channels.SocketChannel对象后，必须调用close方法关闭SocketChannel对象以释放创建的文件句柄（fd）资源，否则如果不断地创建SocketChannel对象会使得打开文件的句柄数达到系统设定的上限，从而出现 “Too many open files”的问题。 现象：1）通过netstat -n | w...
java.nio.channels.SocketChannel
qq_40355167的博客
08-14 1193
java.nio.channels.SocketChannelSocketChannel功能SocketChannel提供的方法1.open() 方法2.bind()方法 SocketChannel功能 从SocketChannel类的注释可以看到以下几点： 1.socket channel是面向流的连接套接字的一个可选通道。 2.通过调用#open()方法创建socket channel。根据不同参数，为不同的socket创建channel。 3.socket channel支持非阻塞连接。创建套接字通道
java.nio.channels.SocketChannel[connected local=/192.168.10.51:45306 remote=slave1/192.168.10.51:500
似水流年
08-02 7139
经过日志的初步分析，发现3600s这个线索，从job的configuration中，初步查找出参数dfs.client.socket-timeout，单位毫秒。 -Ddfs.client.socket-timeout=3600000 试验性地将这个参数修改为60ms，可以看出出现超时的概率非常大，但会不断重试以继续: 2014-09-26 12:53:03,184 WARN [main] o
Java.NIO资源下载资源下载
04-19
Java.NIO资源下载资源下载
java 连接Kafka报错java.nio.channels.ClosedChannelExcep
weixin_34019144的博客
01-18 1254
Java客户端连接Kafka报如下错误 java.nio.channels.ClosedChannelExcep 是由于Kafka server.properties中的advertised.host.name 属性没有配置。这个属性代表客户端访问Kafka的地址。如果没配置默认是主机名。 转载于:https://www.cnblogs.com/xuyou551/p/8311468.htm...
已解决java.nio.channels.ClosedChannelException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-18 4322
已解决java.nio.channels.ClosedChannelException异常的正确解决方法，亲测有效！！！
NIO编程中，socket服务端重启后，客户端报java.nio.channels.ClosedChannelException
Janson_lin88的博客
09-01 1430
这个问题是客户端和服务器的管道关闭了。导致这个问题的原因是服务端程序重启或者关闭重开导致的。 解决这个问题的方法是在捕获异常的时候，对报错位置进行try-catch 。如果报错，先把原来的网络管道socketchannel关闭，重新创建管道并连接服务端，注意不是创建客户端对象而是管道 代码如下： ...
NIO的使用
wuraox的博客
09-14 138
NIO 所在包：java.nio 一、概述 BIO与NIO BIO：即Blocking IO 阻塞IO，顾名思义就是会被阻塞的IO。在数据读取（或者写数据）的时候，只有当读取到（或写完）数据之后才能做其他的事情，而在这期间一直处于阻塞状态（等待操作的完成）。 NIO：Non-Blocking IO 非阻塞IO，顾名思义就是不会被阻塞的IO。在读取（或写）数据的时候，只将请求发送给底层操作而自己就可以继续做别的事情，当读取（或写）完成自己后，会有Selector通知该线程已经完成，则该线程在回来操作数据。
java.nio.channels
BLOG域名:programb.blog.csdn.net
05-12 420
Defines channels, which represent connections to entities that are capable of performing I/O operations, such as files and sockets; defines selectors, for multiplexed, non-blocking I/O operations. Channels Description Channel A nexus for I/O operations
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2768
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
Exception in thread "main" org.apache.hadoop.net.ConnectTimeoutException: Call From bwzm77/172.20.224.1 to 170.20.10.10:9000 failed on socket timeout exception: org.apache.hadoop.net.ConnectTimeoutException: 20000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=170.20.10.10/170.20.10.10:9000]; For more details see: http://wiki.apache.org/hadoop/SocketTimeout at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
06-13
这是一个Hadoop网络连接超时异常，可能是由于连接到Hadoop集群的节点（bwzm77/172.20.224.1）与Hadoop主节点（170.20.10.10）之间的网络延迟或连接不稳定导致的。建议检查网络连接是否正常，并尝试重新连接或增加...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值