事情是这样的,今天打开hive准备进行分区表操作 结果传输本地文件到集群时出问题:
然后尝试用hdfs dfs -put上传
发现不好使 上网搜一搜
上传文件到 HDFS 失败可能有多种原因。
首先,检查 HDFS 是否可用,以及是否具有足够的空间存储上传的文件。可以使用 hadoop fs -df -h
命令来查看 HDFS 的空间使用情况。
其次,检查上传的文件路径是否正确,并且是否具有读写权限。如果没有正确的读写权限,则需要使用 hadoop fs -chmod
命令来更改文件权限。
最后,还要检查网络是否正常。如果网络不正常,可能会导致上传失败。可以使用 ping
命令检查网络连接是否正常。
逐级检查 最后一看jps datanode消失了!!!
解决方案:
停止当前集群
stop-all.sh
进入Hadoop目录下找到core-site.xml
找到这个目录
在集群里的所有电脑都把这个文件得删了
然后重新初始化
hadoop namenode –format
确保在集群关闭状态下执行以上操作
检查后
start-all.sh
然后打开浏览器 node01:8080
然后 打开hive
进行文件传输
完成