【HDFS】解决hadoop fs -put时出现createBlockOutputStream异常

最新推荐文章于 2024-06-24 18:59:20 发布
最新推荐文章于 2024-06-24 18:59:20 发布
阅读量1.1k 收藏
点赞数
分类专栏： hadoop 文章标签： 异常 HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hr786250678/article/details/85159681
版权

向HDFS上传文件时出现异常：

INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.234.132:50010
        at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:142)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1497)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1400)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:554)
18/12/21 19:36:53 INFO hdfs.DFSClient: Abandoning BP-1635234535-192.168.234.133-1545332720741:blk_1073741841_1017
18/12/21 19:36:53 INFO hdfs.DFSClient: Excluding datanode DatanodeInfoWithStorage[192.168.234.132:50010,DS-94a817d7-e6a5-4a04-b234-8650abc6437c,DISK]

 

我是因为异常中那个结点机器的防火墙没有关。

如果关了之后还是报错可以看一下机器的进程，看看有没有datanode在运行

如果没有的话，执行命令hadoop-daemon.sh start datanode 会启动机器上数据节点的守护进程。

草莓味的风
关注
专栏目录
Hadoop Exception in createBlockOutputStream
九师兄
11-08 1738
简介： Hadoop Exception in createBlockOutputStream 报错： 获取FileSystem的时候 # dfs.data.transfer.protection这个配置添加上面就可以了 conf.set("dfs.data.transfer.protection","integrity"); FileSystem fs = FileSystem.g...
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
シ風
07-27 1408
Hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs 与 hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 hadoop fs hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文
错误：hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException:
管子（zero）的杂乱空间
12-25 372
错误：hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: hadoopioexceptionconnectbadack hadoop 运行任务的时候突然报错： java.io.IOException: Bad connect ack with firstBadLink 19...
HDFS文件系统的基本操作 Hadoop权威指南_hadoop fs -put quangle
2301_76224593的博客
06-24 738
Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察。
hadoop报错：hdfs.DFSClient: Exception in createBlockOutputStream
weixin_30242907的博客
03-24 887
hadoop跑任务搞的好好的，后来把hadoop-dir移了一个位置，结果报错： java.io.EOFException: Premature EOF: no length prefix available at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:1492) a...
INFO hdfs.DFSClient: Exception in createBlockOutputStream
mo
09-30 2144
今天在用shell命令进行put时出现了如下的报错： 这两个ip地址都是我的datanode，后来联想到是我没有禁止这两个datanode的防火墙所以会出现上述的错误，我当时只是进行了关闭而已，过了一段时间再次开启hadoop时肯定这两个子节点的防火墙又变成了默认的开启状态，一查状态还真的是这样。 于是果断的用systemctl disable firewalld.service把这两个子节点的防火墙的状态禁止了，在去put时就可以看到不报错了，网上还有说如果不是防火墙的原因的话可能是selinux的
hadoop fs -put 上传文件遇到错误2 hadoop fs -put /opt/exercise/ds.txt ds.txt
理性的浪漫的程序人生
08-02 1930
hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host
hadoop fs -put使用示例
10-01
hadoop fs -put是Hadoop分布式文件系统中用于将本地文件复制到HDFS的命令。以下是hadoop fs -put的使用示例： 示例1：将本地文件复制到HDFS中的目标路径 hadoop fs -put localfile hdfs://nn.example....
hadoop fs常用命令
weixin_42264992的博客
06-14 6024
hdfs常用命令
hadoop fs -put 命令格式
最新发布
09-21
`hadoop fs -put` 是 Hadoop 文件系统 (HDFS) 的一个命令行工具，用于将本地文件或目录上传到 HDFS 中。其基本格式如下： ```bash hadoop fs -put [options] local-file-or-directory hdfs-path ``` 这里，`local-...
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route
似水流年
04-25 6471
No route to host,hadoop,pi
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net解决办法
weixin_30641465的博客
07-27 1178
自己安装好Hadoop2.7.x之后，发现dfs中的/bin/hadoop fs -put命令不能够使用，报错如下： [hadoop@master bin]$ ./hadoop fs -put ../logs/123 /wc/mytemp16/07/27 01:29:26 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava....
INFO hdfs.DFSClient: Exception in createBlockOutputStream错误
fengyiyangziyou_的博客
11-13 5433
从本地往hdfs文件系统上传文件，出现如下错误：  17/11/12 22:44:10 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink as 192.168.0.101:50010 at org.apache.had
hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741891_1096java.io.IOException: Got
zhongmingyu
03-14 1786
erasurecode.ErasureCodeNative: ISA-L support is not available in your platform... using builtin-java codec where applicable 2023-03-14 19:40:43,567 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted =
Exception in createBlockOutputStream
aozhe0629的博客
08-31 1640
Exception in createBlockOutputStream 出现这个问题，可能是端口没打开，把异常往下拉，就可以看到哪个端口，在centos 打开端口 转载于:https://www.cnblogs.com/Jomini/p/11438549.html...
hdfs.DFSClient: Exception in createBlockOutputStream
Faith_xzc
07-07 668
问题描述： 向hadoop集群上传文件报错 [xzc@hadoop105 hadoop-2.7.2]$ hadoop fs -put wcinput/wc.input /user/atguigu/input/ 原因： 防火墙没有关闭 解决办法： 关闭防火墙（注意需要切换root用户） 重新上传： [xzc@hadoop105 hadoop-2.7.2]$ hadoop fs -put wcinput/wc.input /user/atguigu/input/ ...
Hadoop 上传文件失败。 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostExcep
xiaoluo520112的博客
07-12 1403
我在使用命令：hadoop fs -put hello*.txt /input 上传文件时，失败， 报错信息： 21/07/09 01:51:37 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值