hadoop fs -put报错 Excluding datanode DatanodeInfoWithStorage

最新推荐文章于 2022-11-25 21:05:57 发布
最新推荐文章于 2022-11-25 21:05:57 发布
阅读量6.6k 收藏
点赞数
分类专栏： hadoop常见问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Joker__K/article/details/52788827
版权
NFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.1.142:50010
        at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1359)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1262)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:448)
16/10/11 00:11:01 INFO hdfs.DFSClient: Abandoning BP-898235430-192.168.1.139-1476169105223:blk_1073741825_1001

16/10/11 00:11:01 INFO hdfs.DFSClient: Excluding datanode DatanodeInfoWithStorage[192.168.1.142:50010,DS-d51b3c1b-2221-414e-83bc-42ffb3fd2ef9,DISK]


由于我这是虚拟机,所以防火墙没必要开启,只需要将该datanode节点的防火墙关闭,或者配置防火墙,就可以啦

Joker__K
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop fs -put 上传文件遇到错误2 hadoop fs -put /opt/exercise/ds.txt ds.txt
理性的浪漫的程序人生
08-02 1926
hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host
Hadoop命令hadoop fs -ls详解
热门推荐
cacasi2568的专栏
07-15 1万+
Hadoop有提供一些脚本命令，以便于我们对HDFS进行管理，可以通过命令hadoop fs进行查看： 通过以上使用说明可以发现，里面提供了大多数和我们在本地操作文件系统相类似的命令，例如，cat查看文件内容，chgrp改变用户群组权限，chmod改变用户权限，chown改变用户拥有者权限，还有创建目录，查看目录，移动文件，重命名等等。 hadoop fs -ls 这里，我们来看看命令hadoop fs -ls： 这个命令大家肯定非常熟悉，在Linux下使用超级频繁，功能就是列出指定目录下的文件及文件
Hadoop3.2.1 【 HDFS 】源码分析 :DatanodeStorageInfo解析
张伯毅的专栏
10-15 6433
一.前言 DatanodeStorageInfo类描述了Datanode上的一个存储（storage） ， 一个Datanode可以定义多个存储（在dfs.datanode.data.dir中配置多个Datanode的存储目录） 来保存数据块，这些存储还可以是异构的， 例如可以是磁盘、 内存、 SSD等。 二.常量 // Datanode 的信息 private final DatanodeDescriptor dn; // 存储策略id private fina...
虚拟机HDFS警告解决办法：WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage
梁辰兴的博客
11-25 2963
查看防火墙状态，输入命令：systemctl status firewalld。设置“SELINUX=disabled” ，再次执行上传文件就不会出现警告了。禁用防火墙：systemctl disable firewalld。停止防火墙：systemctl stop firewalld。
集群运维：All datanodes DatanodeInfoWithStorage[10.21.131.179:50010,DS-6fca3fba-7b13-4855-b483-342df8432e
涤生大数据
12-14 5242
大数据集群运维：all datanodes DatanodeInfoWithStorage[10.21.131.179:50010,DS-6fca3fba-7b13-4855-b483-342df8432e
Hive Sql执行出错 Dag submit failed due to java.io.IOException: All datanodes DatanodeInfoWithStorage
阿拉修
10-25 1510
检查集群中的 Dfs.replication 属性，集群中 INFORMATICA 的最小复制因子为 3 (dfs.replication=3)。第二步：修改dfs.replication值为3（页面上操作），然后重启HDFS。根本原因是集群中的一个或多个信息块在所有节点中都已损坏，因此映射无法获取数据。如果副本数还是3，首先确认副本参数是否已经生效(第三步的命令中可以查看)，第四步、手动创建一个文件，上传至HDFS，观察其副本数。第一步：将HDFS上已有文件副本数修改为3。
写文件到hdfs时出现0 datanode(错误）
u013561840的博客
03-09 930
问题描述：完全分布，DataNode已经启动，但出现写文件到hdfs时出现无DataNode可用异常。解决方案：修改slave节点core-site.xml如下：其中 master：9000.是设置的slave心跳信息发送的地址。个人笔记。欢迎指正...
hadoop错误解决办法:-------HDFS上传文件保存错误或速度很慢
happyfreeangel的博客
11-22 3590
出现症状: 2018-11-22 11:28:12,711 WARN hdfs.DataStreamer: Abandoning BP-2142139802-10.20.2.1-1536240602405:blk_1073765062_24289 2018-11-22 11:28:12,712 WARN hdfs.DataStreamer: Excluding datanode DatanodeI...
hadoop fs常用命令
weixin_42264992的博客
06-14 6016
hdfs常用命令
hadoop连接方式配置-fs操作-put
noodlesfate1的博客
07-04 2024
cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml       /////多个文件合并cat 选择启动哪种配置模式： ln -s hadoop_pseudo hadoop（前提是剔除环境变量） export HADOOP_CONF_DIR=   ////剔除环境变量 创建用户目录 hadoop fs -ls /     //
hadoop 用-get报错get: mkdir `/usr/local/test‘: Input/output error
wudada88的博客
03-05 2915
原因：我没有分布式配置hadoop 解决方案：用vi编辑器新建并修改以下两个配置文件（core-site.xmlcore-site.xml） [root@wyd4224-1 hadoop]# vi core-site.xml 文件中写入： <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/loca...
hive动态分区过多异常
wflh323的专栏
05-29 2140
hive 执行动态插入分区sql 报如下错误： 2019-05-28 16:04:40,381 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145278_533526274 2019-05-28 16:04:40,382 WARN [Th...
java 调用hdfs api 上传文件报错（ could only be replicated to 0 nodes instead of minReplication (=1). There ）
养猪少年日记的博客
05-18 1410
2022-05-18 20:19:55.197 INFO 4772 --- [ Thread-70] org.apache.hadoop.hdfs.DFSClient : Exception in createBlockOutputStream java.net.ConnectException: Connection timed out: no further information at sun.nio.ch.SocketChannelImpl.checkConne
HBase案例 | 20000个分区导致HBase集群宕机事故处理
Focus on Lakehouse
05-21 2182
这是典型的HBase小集群过载问题，某客户现场10节点HBase集群支持百TB的业务量，region分区数量过多，最终导致集群宕机。阅读查看事故分析
HDFS中javaAPI创建文件写入内容报错：INFO hdfs.DFSClient: Exception in createBlockOutputStream
登峰造极胡子球手
11-11 3607
19/11/11 20:33:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Na...
Hadoop使用过程中常见的错误
向心行者
08-10 1542
1、异常：“java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.1.10:50010” [root@node01 servers]# ./hadoop-2.7.5/bin/hdfs dfs -put test.txt /input 20/08/10 22:28:42 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.
hadoop 文件存放策略_Hdfs磁盘存储策略和预留空间配置
weixin_34275305的博客
12-23 907
一、Hdfs磁盘存储策略1、 指定本地目录存储策略data目录为Hot策略对应DISK；data1目录为Cold策略对应ARCHIVE；dfs.datanode.data.dir[DISK]/opt/beh/data/namenode/dfs/data,[ARCHIVE]/opt/beh/data/namenode/dfs/data1重启hdfs$ stop-dfs.sh$ start-dfs.s...
上传文件突然报错
围城
04-04 469
2018/04/04 上传文件的时候，突然报错，查看了一下 [root@node1 ss]# hadoop fs -copyFromLocal xab xx 18/04/04 22:05:24 INFO hdfs.DataStreamer: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route ...
Hadoop 上传文件失败。 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostExcep
xiaoluo520112的博客
07-12 1390
我在使用命令：hadoop fs -put hello*.txt /input 上传文件时，失败， 报错信息： 21/07/09 01:51:37 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun...
hadoop fs -put使用示例
最新发布
10-01
hadoop fs -put是Hadoop分布式文件系统中用于将本地文件复制到HDFS的命令。以下是hadoop fs -put的使用示例： 示例1：将本地文件复制到HDFS中的目标路径 hadoop fs -put localfile hdfs://nn.example.com/user/hadoop/destination 示例2：将本地文件复制到HDFS的当前用户目录下 hadoop fs -put localfile /user/currentuser/destination 示例3：将本地文件复制到HDFS的相对路径下 hadoop fs -put localfile destination 示例4：将本地文件复制到HDFS的绝对路径下 hadoop fs -put localfile /destination 示例5：将本地文件夹复制到HDFS中的目标路径 hadoop fs -put localfolder hdfs://nn.example.com/user/hadoop/destination 示例6：将本地文件夹复制到HDFS的当前用户目录下 hadoop fs -put localfolder /user/currentuser/destination 示例7：将本地文件夹复制到HDFS的相对路径下 hadoop fs -put localfolder destination 示例8：将本地文件夹复制到HDFS的绝对路径下 hadoop fs -put localfolder /destination
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值