hadoop fs -put test.txt /data/ 上传文件时报异常

已于 2022-03-23 12:08:54 修改
阅读量2.5k 收藏 10
点赞数
分类专栏： Hadoop 文章标签： hadoop
于 2022-03-23 12:08:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/123682629
版权
博客内容涉及Hadoop集群中出现磁盘使用率为0的问题，原因是多次格式化导致DataNode元数据错乱。解决方法包括删除data和logs文件夹，重新格式化集群并启动，然后使用hadoopdfsadmin-report检查，最后通过hadoopfs-put命令成功上传文件。
摘要由CSDN通过智能技术生成

在这里插入图片描述

查看：

hadoop dfsadmin -report

在这里插入图片描述
发现磁盘使用都为 0

报错原因： 应该是多次格式化，导致集群的DataNode 的元数据信息错乱

解决办法：
删除hadoop3台集群中的data，logs 文件夹
重新格式化集群
启动集群
输入 hadoop dfsadmin -report

在这里插入图片描述
hadoop fs -put test.txt /data/

再次重新使用上传命令即可成功上传文件

在这里插入图片描述

缘不易
关注
专栏目录
运行hadoop fs -put 命令时报错
peterchan88的专栏
04-17 6070
[root@hadoop1 桌面]# hadoop dfs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误  3/05/02 18:11:26 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IO
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
weixin_39636898的博客
11-20 606
注意:访问hdfs系统的指令hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小 hadoop fs 和 hdfs dfs之间没有太大的区别 1. 在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。 2. 在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令常用...
hadoop fs -put 失败
a1008223的专栏
03-26 692
使用hadoop 启动之后，无法进行put ，发现datanode是0， error ： hadoop fs -put could only be replicated to 0 nodes, instead of 找了好久原因，发现 /etc/hosts文件下 映射配置了 2个 host映射。。小菜了。哈哈 127.0.0.1 wei 192.168.85.130 wei ...
Hadoop集群（第8期）_HDFS初探之旅
weixin_33778778的博客
05-28 446
1、HDFS简介 　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很...
Hadoop HDFS 命令行工具 hadoop fs 和 hdfs dfs 基本使用指南
最新发布
2302_81096429的博客
10-21 763
hadoop fs 和 hdfs dfs 是两个命令行工具，它们的功能和用途基本相同，都是用来与Hadoop的分布式文件系统（HDFS）进行交互的。这两个命令实际上是同一个工具的不同调用方式。
使用命令hadoop fs -put时会出现这样的错误
Rocky
03-26 3956
为什么使用hadoop fs -put words hdfs://Rocky01:9000/words会出现下面的错误信息呢？求指导一下，万分感谢。 Connecting refused！！！
hadoop命令使用put上传文件报错
Rong_Gong的博客
03-18 7189
在学习hadoop的过程中报错如下：WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /input/README.txt._COPYING_ could only be replicated to 0 nodes instead o...
hadoop fs -put localfile . 时出现如下错误： could only be replicated to 0 nodes, instead of 1...
weixin_30399871的博客
02-25 204
hadoop fs -put localfile . 时出现如下错误：could only be replicated to 0 nodes, instead of 1网友的说法：这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracker和tasktracker。这样就不会存在这个问题了。这个异常主要是因为hdfs文件系统出现异常，解...
hadoop fs -put
热门推荐
SophieZhou的专栏
11-28 6万+
hadoop fs -put    filename   hdfs 这个时候，如果hdfs文件目录已经存在，此时则会将file放在hdfs/下的，而如果hdfs文件目录不存在，则把file/*的文件放在目录下，即此时hdfs目录下不存在filename. 比如 hadoop fs -put /home/test/20121127   /user/test/data/   此时
HDFS通过put参数上传文件失败
qq_39939537的博客
04-28 1334
直接看错误 错误分许：大概是datanode拒绝与namenode的通信，因为无法解析主机名。可是自己已经在hosts文件中配置了域名解析，不知道为什么还会报这个错误。 解决方案：在hdfs-site.xml文件中配置如下信息 <property> <name>dfs.namenode.datanode.registration.ip-hostname-check</name> <value>false</value> &
hadoop的shell指令fs -put为什么不可以把创建好的.txt文件放入到input文件中呢
zouxuetao的博客
11-02 1334
因为创建的位置很重要 犯错原因：可能是直接把TXT文件创建到了hadoop默认的文件夹里面去了，而是使用put指令的时候找不到相应的想要上传的文件。 改正做法：首先你可以用./hadoop fs -ls 检查自己的hadoop默认文件是否创建了txt文件，若存在的话，则说明你可能就是创建错了位置。 这时如何改正呢，首先使用./hadoop fs -rm x.txt删除你在默认文件夹中创建的文件。然后使用vim x.txt命令创建一个可编辑文件，进入创建的文件之后按住I键插入内容，写完之后按Esc之后，用：w
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
01-07
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f...[root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo
Hadoop 常用的命令
、零的博客
03-18 763
创建、删除 -文件，文件夹 hadoop fs -touchz /user/demo/3.txt 创建新文件 hadoop fs -mkdir /user 在本地根目录创建user文件夹 hadoop fs -mkdir -p /user/demo/test 创建多级文件夹 hadoop fs -mkdir hdfs://ip**:9000/test 远程创建文...
HADOOP(3.3.2)安装
shuergang1的博客
05-25 1470
HADOOP的安装方式，每种方式的安装实现
hadoop fs常用命令
weixin_42264992的博客
06-14 6121
hdfs常用命令
hadoop fs -put 上传文件失败
Aitu的博客
10-08 4630
16/10/08 21:35:27 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /aaa/aa.txt._COPYING_ could only be replicated to 0 nodes instead of min
Hadoop fs -put：上传文件至Hdfs总是失败
weixin_34409741的博客
04-23 1970
背景：Hadoop正常启动，所有服务：namenode，datanode，jobtracker，tasktracker都正常启动运行。且执行hadoop其他命令如-ls，-rm，-mkdir等都正常运行。就是执行hadoop fs -put test.txt input命令时失败。注：namenode主机ip：192.168.101.135问题描述：namenode节点日志（...
hadoop hdfs put上传大量文件时出现错误
qq_38677031的博客
11-10 1622
hadoop hdfs put上传大量文件时出现错误 执行命令： bin/hdfs dfs -put -d etc/hadoop/tmpInputFile/BayesFiles/trainClassFiles /user/input_1 2019-11-10 17:03:31,380 WARN hdfs.DataStreamer: Caught exception java.lang.Inte...
hadoop路径下put文件报错
weixin_45108435的博客
12-26 849
hadoop路径下put文件报错，进行解决
hadoop@ubuntu:/usr/local/hadoop$ cd /etc/hadoop/hadoop-env.sh bash: cd: /etc/hadoop/hadoop-env.sh: No such file or directory
10-17
当你看到这个错误提示"bash: cd: /etc/hadoop/hadoop-env.sh: No such file or directory"，这意味着在Ubuntu系统中的Hadoop安装目录下，尝试切换到`hadoop-env.sh`文件不存在。`hadoop-env.sh`通常是一个配置脚本，用于设置Hadoop环境变量，但在你当前的位置 `/usr/local/hadoop` 中并没有找到它。 这可能是由于以下几个原因： 1. `hadoop-env.sh`文件可能位于其他位置，如`/usr/lib/hadoop/conf` 或者是在Hadoop版本升级或移动了配置文件之后。 2. 文件可能已经被删除或移除。 3. 你可能试图从命令行直接运行而不是通过`source`或`./`命令来执行脚本。 要解决这个问题，你应该首先确认`hadoop-env.sh`的确切路径，然后使用`cd`命令导航到正确的目录。例如，如果是`/usr/lib/hadoop/conf`，你应该输入`cd /usr/lib/hadoop/conf`。如果文件需要执行，你应该使用`source hadoop-env.sh`（如果是bash shell）或者`. hadoop-env.sh`（同义）。如果你不确定路径，可以查看Hadoop的官方文档或配置指南来查找正确的脚本位置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值