因为课程要求,最近疯狂搭建hadoop集群和spark环境,遇到一些问题,特此记录。
问题描述:
上传文本文件到HDFS 失败
(PS:我曾经上传成功,所以我的hadoop环境没有问题)
命令:
hadoop fs -mkdir -p /input/wc
hadoop -put LICENSE.txt /input/wc
报错界面:
自查:
- 防火墙是否关闭(主从机都要关闭)
systemctl stop firewalld.service
- 重启hdfs
关闭所有主从机服务
cd ~/app/hadoop/sbin
./stop-all.sh
先删除所有的主从机dfs文件rm -rf ~/app/tmp/dfs
格式化HDFShdfs namenode -format
开启主从机服务,先开主服务器
cd ~/app/hadoop/sbin
./start-all.sh
查看jps
和网页是否正常,注意节点数是否正常,集群下,DataNot