hadoop fs -put test.txt /data/ 上传文件时报异常

已于 2022-03-23 12:08:54 修改
阅读量2.4k 收藏 10
点赞数
分类专栏： Hadoop 文章标签： hadoop
于 2022-03-23 12:08:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45834006/article/details/123682629
版权

在这里插入图片描述

查看：

hadoop dfsadmin -report

在这里插入图片描述
发现磁盘使用都为 0

报错原因： 应该是多次格式化，导致集群的DataNode 的元数据信息错乱

解决办法：
删除hadoop3台集群中的data，logs 文件夹
重新格式化集群
启动集群
输入 hadoop dfsadmin -report

在这里插入图片描述
hadoop fs -put test.txt /data/

再次重新使用上传命令即可成功上传文件

在这里插入图片描述

缘不易
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
运行hadoop fs -put 命令时报错
peterchan88的专栏
04-17 5933
[root@hadoop1 桌面]# hadoop dfs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误  3/05/02 18:11:26 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IO
Hadoop fs -put：上传文件至Hdfs总是失败
weixin_34409741的博客
04-23 1873
背景：Hadoop正常启动，所有服务：namenode，datanode，jobtracker，tasktracker都正常启动运行。且执行hadoop其他命令如-ls，-rm，-mkdir等都正常运行。就是执行hadoop fs -put test.txt input命令时失败。注：namenode主机ip：192.168.101.135问题描述：namenode节点日志（...
hadoop fs -put localfile . 时出现如下错误： could only be replicated to 0 nodes, instead of 1...
weixin_30399871的博客
02-25 186
hadoop fs -put localfile . 时出现如下错误：could only be replicated to 0 nodes, instead of 1网友的说法：这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracker和tasktracker。这样就不会存在这个问题了。这个异常主要是因为hdfs文件系统出现异常，解...
hadoop fs -put 失败
a1008223的专栏
03-26 669
使用hadoop 启动之后，无法进行put ，发现datanode是0， error ： hadoop fs -put could only be replicated to 0 nodes, instead of 找了好久原因，发现 /etc/hosts文件下 映射配置了 2个 host映射。。小菜了。哈哈 127.0.0.1 wei 192.168.85.130 wei ...
hadoop fs -put
热门推荐
SophieZhou的专栏
11-28 6万+
hadoop fs -put    filename   hdfs 这个时候，如果hdfs文件目录已经存在，此时则会将file放在hdfs/下的，而如果hdfs文件目录不存在，则把file/*的文件放在目录下，即此时hdfs目录下不存在filename. 比如 hadoop fs -put /home/test/20121127   /user/test/data/   此时
使用命令hadoop fs -put时会出现这样的错误
Rocky
03-26 3887
为什么使用hadoop fs -put words hdfs://Rocky01:9000/words会出现下面的错误信息呢？求指导一下，万分感谢。 Connecting refused！！！
HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt
01-07
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f...[root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo
hadoop-2.7.5 windows环境
10-01
1. **上传文件**: 使用`hadoop fs -put`命令将本地文件上传至HDFS，如`hadoop fs -put C:\test\input.txt /input`。 2. **运行MapReduce示例**: 可以尝试运行WordCount程序来验证Hadoop是否正常工作。首先将示例...
hadoop-2.7.2-bin-x64
02-18
hadoop fs -put C:\test\file.txt /user ``` 六、MapReduce示例 在Windows上运行MapReduce作业，首先需要编写Java代码，实现Mapper和Reducer类，然后编译成JAR包。使用以下命令提交作业： ```bash hadoop jar ...
【HDFS篇02】HDFS命令行操作1
08-04
- `put`等同于`copyFromLocal`，将本地文件上传到HDFS，例如`hadoop fs -put ./together.txt /input/`。 6. **文件内容操作**： - `appendToFile`用于向已存在的文件追加内容，例如`hadoop fs -appendToFile ./...
hadoop2.7.2集群_centos7 环境搭建
09-15
2. 将文件上传到HDFS：`hadoop fs -put test.txt /` 3. 检查文件是否上传成功：`hadoop fs -ls /` 4. 从HDFS读取文件：`hadoop fs -cat /test.txt` 至此，你已经成功搭建了一个基础的Hadoop 2.7.2集群。为了提升...
HDFS通过put参数上传文件失败
qq_39939537的博客
04-28 1206
直接看错误 错误分许：大概是datanode拒绝与namenode的通信，因为无法解析主机名。可是自己已经在hosts文件中配置了域名解析，不知道为什么还会报这个错误。 解决方案：在hdfs-site.xml文件中配置如下信息 <property> <name>dfs.namenode.datanode.registration.ip-hostname-check</name> <value>false</value> &
hadoop fs -put 上传文件失败
Aitu的博客
10-08 4558
16/10/08 21:35:27 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /aaa/aa.txt._COPYING_ could only be replicated to 0 nodes instead of min
hadoop的shell指令fs -put为什么不可以把创建好的.txt文件放入到input文件中呢
zouxuetao的博客
11-02 1278
因为创建的位置很重要 犯错原因：可能是直接把TXT文件创建到了hadoop默认的文件夹里面去了，而是使用put指令的时候找不到相应的想要上传的文件。 改正做法：首先你可以用./hadoop fs -ls 检查自己的hadoop默认文件是否创建了txt文件，若存在的话，则说明你可能就是创建错了位置。 这时如何改正呢，首先使用./hadoop fs -rm x.txt删除你在默认文件夹中创建的文件。然后使用vim x.txt命令创建一个可编辑文件，进入创建的文件之后按住I键插入内容，写完之后按Esc之后，用：w
hadoop hdfs put上传大量文件时出现错误
qq_38677031的博客
11-10 1593
hadoop hdfs put上传大量文件时出现错误 执行命令： bin/hdfs dfs -put -d etc/hadoop/tmpInputFile/BayesFiles/trainClassFiles /user/input_1 2019-11-10 17:03:31,380 WARN hdfs.DataStreamer: Caught exception java.lang.Inte...
hadoop路径下put文件报错
weixin_45108435的博客
12-26 785
hadoop路径下put文件报错，进行解决
大学生日常之初学linux
qq_64395556的博客
11-10 801
13.查看命令的可执行文件的绝对路径。ps：“d”表示查找的是目录。11.查找该目录下的空文件。12.删除该目录下的空文件。10.按文件的类型查找。
java.io.FileNotFoundException: xxx.txt (系统找不到指定的文件。) 的错误解决办法
U7_7cc的博客
04-12 1万+
解决file读取文件路径并分析
【HDFS】HDFS基本操作
weixin_44039347的博客
06-12 996
基本操作 增 在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一个file.txt文件 hadoop fs -touchz /test1/file.txt 删 删除Hadoop根下的test1目录 hadoop fs -rm -r /test1 改 将Hadoop根下test1目录中的file.txt文件，移动到根下并...
1. HDFS的shell操作练习，具体要求如下: (1 )查看HDFS的根目录。 (2)在HDFS的根目录下创建一-个名为test1和hongyaa的目录。 (3)在HDFS的根目录下级联创建test2/data目录。 (4)将SHADOOP HOME/README.txt文件上传到HDFS集群中的/test1目录下。 (5 )将root.bash_ profile配置文件上传到HDFS集群中的/hongyaa目录下。 (6)将HDFS上/hongyaa/ .bash profile的内 容输出到控制台上。
最新发布
06-06
hadoop fs -put $SHADOOP_HOME/README.txt /test1 ``` 5. 将root.bash_ profile配置文件上传到HDFS集群中的/hongyaa目录下： 使用以下命令即可将root.bash_ profile配置文件上传到HDFS集群中的/hongyaa目录下： `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

缘不易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值