hdfs文件上传容易出现的报错

 

    今天晚上本想搞完hdfsd的文件上传,谁知半路上弹出个这个错误:java.lang.IllegalArgumentException: Pathname /D:/ from D:/ is not a valid DFS filename.  当时的我天真的以为创个文件或目录就可以解决问题,结果被现实啪啪打脸。最终被一个不起眼的斜杠完美解决了问题。

     最后跟大家说一句,遇到问题不要慌,第一时间冷静下来,第二在百度上找答案,不过百度上有可能不太全面,第三步尝试自己解决问题,把错误的地方收集起来记到本子上,这样就能知道哪个地方出问题了,直击这个问题去解决。

     最后呢,不管生活中或者学习上都应该为自己争口气,积极面对困难,毕竟我也是过来人。最后为了家庭和孩子操心的顶梁柱和学生。愿你们事业有成,旗开得胜!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
如果在 HDFS 上最近的一个 checkpoint 报错 `Exception while adding a block`,你可以尝试以下步骤来解决问题: 1. 首先,你需要查看 HDFS 的日志,找到具体的错误信息。你可以通过运行以下命令来查看 HDFS 的日志: ``` hdfs dfs -cat /var/log/hadoop-hdfs/hadoop-hdfs-namenode-<hostname>.log | grep "Exception while adding a block" ``` 请将 `<hostname>` 替换为你的 Hadoop 节点的主机名。 2. 确认错误的具体原因。错误信息可能是由于磁盘空间不足、文件系统损坏、权限问题等导致的。根据错误信息,采取相应的措施进行修复。 3. 如果错误是由于磁盘空间不足导致的,你需要删除一些不必要的文件或者增加磁盘空间。 4. 如果错误是由于文件系统损坏导致的,你需要运行 `fsck` 命令来修复文件系统。运行以下命令: ``` hdfs fsck / -files -blocks -locations ``` 这个命令会检查整个 HDFS 文件系统,并输出错误信息和修复建议。 5. 如果错误是由于权限问题导致的,你需要确认 Hadoop 用户是否具有适当的权限来创建和修改文件。你可以通过运行以下命令给 Hadoop 用户授权: ``` hdfs dfs -chmod -R <permissions> <path> ``` 请将 `<permissions>` 替换为适当的权限(例如 `777`),`<path>` 替换为你要授权的路径。 6. 最后,你需要重新启动 HDFS,以便应用你所做的更改。运行以下命令: ``` hdfs dfsadmin -safemode leave hdfs dfsadmin -refreshNodes ``` 这些命令会退出 HDFS 的安全模式,并更新 HDFS 节点的列表。 希望以上步骤能帮助你解决问题。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值