Hadoop - 问题 & 解决

1 HDFS - 数据节点DataNode未启动

问题：运行bin/hdfs namenode -format和start-dfs.sh后，运行jps，发现数据节点DataNode未启动

原因：
运行bin/hdfs namenode -format初始化之后，导致namenode的clusterID和datanode的clusterID不一致

解决方案：
找到name和data的current文件夹（找不到可以到根目录使用find / -name current查找所有可能的进而选择name和data的current文件夹），打开VERSION文件，将name的clusterID复制到node的clusterID，记得集群内的其它机器也需要修改

2 HDFS - IDEA编程代码实现文件下载

问题：Permission denied: user=Administrator, access=WRITE, inode="/test/input":hadoop:supergroup:drwxr-xr-x

原因：用户Administator在hadoop上执行操作时被权限系统拒绝

解决方案：将HADOOP_USER_NAME=hadoop添加到系统环境变量