HDFS通过put参数上传文件失败

最新推荐文章于 2024-03-12 23:01:22 发布
最新推荐文章于 2024-03-12 23:01:22 发布
阅读量1.2k 收藏 10
点赞数 1
分类专栏： 异常、错误 运行时异常 文章标签： hadoop hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39939537/article/details/116245936
版权

直接看错误
在这里插入图片描述
错误分许：大概是datanode拒绝与namenode的通信，因为无法解析主机名。可是自己已经在hosts文件中配置了域名解析，不知道为什么还会报这个错误。
解决方案：在hdfs-site.xml文件中配置如下信息

<property>
      <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
      <value>false</value>
</property>

配置原因如下图：
在这里插入图片描述

土豆和西红柿
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HDFS无法下载和上传文件
hhhhhhhhhhhnb的博客
05-11 2153
下图表示一两个情况： 在linux操作系统下没有权限 ./hdfs dfs -chmod 777 / 在window操作系统下无法解析主机名（master返回的存储数据的slave主机列表，是使用主机名表示）修改windows下的hosts 修改这个文件，需要管理员权限 再通过浏览器上传： 再次通过浏览器上传： ...
一个hadoop hdfs put 文件失败的小情况
weixin_33857679的博客
03-19 1486
/root/abc sudo -u hdfs hdfs dfs -put abc /user/larry 然而，提示“put: `abc': No such file or directory”。 一通折腾之后，终于找到原因（我认为的原因）： 用户hdfs 无法访问/root下的文件，无法访问ug为root:root的文件。   所以，解决方法就是①将abc移到/home/larry等地方，②然后...
记录处理hdfs put失败的过程
qq_39276701的博客
06-22 997
在搭建好hadoop集群后，在本地执行hdfs dfs -put 命令报错 File /test01/1.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation. 后来查看了一下本地的进程 发现主节点没有启动datanode导致失败 去hadoop软件下面修改了.
在hdfs上无法上传本地文件
最新发布
weixin_73483881的博客
03-12 742
Couldn't upload the file work.txt.当出现这种错误时。解决到最后给自己鼓鼓掌吧，你又解决了一个难题。欢迎大家给我提错误，嘻嘻。是因为hdfs上的ip和主机名与映射中的不一样，所以会产生上传不了。（3）把ip地址改为 主机名：9870。（1）在C盘找到这些文件。添加IP地址和主机名。
云服务搭建hadoop集群 ，往hdfs文件系统中put文件的时候报错0 nodes instead of minReplication (=1).  There are 3 datanode(s)
zhangshk_的博客
09-13 1002
报错信息： put: File /test/README.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and 3 node(s) are excluded in this operation.   原因： ...
HDFS put出错问题解决：There are 0 datanode(s) running and no node(s) are excluded in this operation.
qq_57109508的博客
12-07 1043
(java.io.IOException): File /test/words.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation. hdfs上传失败，namenode -format多次失败，DataNode全部掉线， ...
解决hadoop使用put上传报错问题
做笔记\记录遇到的程序bug
09-14 1355
hadoop使用put上传报错COPYING原因是多次格式化了Hadoop或者hdfs。因为id不一致。
Hadoop通过WEB上传文件到HDFS失败
热门推荐
Shion's bla bla blog
12-15 1万+
没想到WEB也需要知道内部的主机名，不科学啊……
Hadoop报错：NoRouteToHostException: No route to host
wppxym的博客
10-17 1971
将数据插入到HDFS 假设在本地系统，这是所谓的file.txt文件中的数据,应当保存在HDFS文件系统。按照下面给出插入在Hadoop的文件系统所需要的文件的步骤。 第1步 必须创建一个输入目录。 $ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 第2步 传输并使用本地系统put命令，Hadoop文件系统中存储的数据文件。 $ $
hdfs文件上传容易出现的报错
azcpsg152的博客
06-23 575
最终被一个不起眼的斜杠完美解决了问题。最后跟大家说一句，遇到问题不要慌，第一时间冷静下来，第二在百度上找答案，不过百度上有可能不太全面，第三步尝试自己解决问题，把错误的地方收集起来记到本子上，这样就能知道哪个地方出问题了，直击这个问题去解决。最后呢，不管生活中或者学习上都应该为自己争口气，积极面对困难，毕竟我也是过来人。最后为了家庭和孩子操心的顶梁柱和学生。愿你们事业有成，旗开得胜！
HDFS文件的上传
05-21
hdfs 文件的上传，hdfs fs -put /文件名
上传文件到HDFS
10-30
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
本篇文章将深入探讨如何使用 Hadoop 的 API 对 HDFS 上的文件进行操作，包括上传文件、下载文件以及删除文件。 首先，我们需要了解 Hadoop 配置的基本知识。在示例代码中，`Configuration` 类用于加载 Hadoop 配置...
Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作
09-16
总之，Python通过`pyhdfs`模块可以方便地与HDFS进行交互，实现文件的上传下载，而Pandas则提供了强大的数据处理能力，能够轻松地将文本文件转换为CSV格式。在处理特殊数据格式时，需要根据实际情况选择合适的方法来...
向hdfs上传Excel文件.doc
03-06
向hdfs上传Excel文件
web端hadoop hdfs管理界面，上传文件失败
weixin_40167653的博客
06-09 1717
web端hadoop hdfs管理界面，上传文件失败
关于hdfs突然无法上传下载文件的解决方法（Couldn‘t upload the file）
zywenmag的博客
10-11 6542
关于hdfs上传文件报Couldn't upload the file的解决方案
post请求正常，PUT请求I/O error on PUT request for Connection reset
weixin_44328800的博客
06-19 2402
I/O error on PUT request for: Connection reset; nested exception is java.net.SocketException: Connection reset
hadoop无法上传hdfs方法解决
qq_56572867的博客
04-18 6349
首先，我遇到的是两种情况第一种是namenode没有开启，秒挂的情况，这个会出现这种提示 put: File /hdfsdata/NOTICE.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation. 注意就是下面提醒了datanode是0，通过jps查看，
java上传文件通过kerberos 到hdfs
05-18
要通过Kerberos认证方式上传文件到HDFS，需要完成以下步骤： 1. 配置Kerberos客户端 在Java中使用Kerberos认证需要配置Kerberos客户端。可以通过设置以下系统属性完成配置： ``` System.setProperty("java.security.krb5.realm", "EXAMPLE.COM"); System.setProperty("java.security.krb5.kdc", "kdc.example.com"); ``` 其中，`EXAMPLE.COM`为Kerberos域名，`kdc.example.com`为Kerberos服务器地址。 同时，还需要将Kerberos的keytab文件添加到JVM的classpath中，以便在运行时自动加载。 2. 获取Kerberos票据 在进行HDFS操作之前，需要获取Kerberos票据。可以使用`LoginContext`类获取Kerberos票据： ``` LoginContext lc = new LoginContext("KerberosLogin", new Subject(), null, new KerberosConfiguration()); lc.login(); Subject subject = lc.getSubject(); ``` 其中，`KerberosLogin`为登录模块名称，`KerberosConfiguration`为Kerberos配置类。 3. 创建HDFS文件系统对象 通过Hadoop的`FileSystem`类创建HDFS文件系统对象，并设置认证方式为Kerberos： ``` Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode.example.com:8020"); conf.setBoolean("dfs.support.append", true); conf.set("hadoop.security.authentication", "kerberos"); conf.set("hadoop.security.authorization", "true"); UserGroupInformation.setConfiguration(conf); UserGroupInformation ugi = UserGroupInformation.getSubject(subject); FileSystem fs = ugi.doAs(new PrivilegedExceptionAction<FileSystem>() { public FileSystem run() throws Exception { return FileSystem.get(conf); } }); ``` 其中，`namenode.example.com`为HDFS的NameNode地址。 4. 上传文件到HDFS 使用HDFS文件系统对象上传文件到HDFS即可： ``` Path srcPath = new Path("/path/to/local/file"); Path dstPath = new Path("/path/to/remote/file"); fs.copyFromLocalFile(srcPath, dstPath); ``` 其中，`/path/to/local/file`为本地文件路径，`/path/to/remote/file`为HDFS文件路径。 以上就是通过Kerberos认证方式上传文件到HDFS的步骤。需要注意的是，Kerberos认证方式需要对安全性有一定的了解才能正确配置和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值