[Q1]安装完毕后集群HDFS报警,提示 ’集群中有293个副本不足的块。集群众共有296个块。百分比副本不足的块:98.99%。临界阈值:40% Under-Replicated Blocks‘,
【原因】产生的原因只安装了2台机器,DataNode节点只有2个,而安装过程中采用的都是默认配置,dfs.replication 默认设置的为3,所以导致次报警
【解决方法】
1)CM中复制因子改为2
dfs.replication = 2
2)cdh01机器上执行
hadoop fs -setrep 2 /
此时会报root用户无权限:: Permission denied: user=root, access=READ_EXECUTE, inode="/user/spark":
对CDH用户:对于文件夹/user,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。
所以,只有hdfs可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。
【解决方法】在CDH HDFS页面中添加超级用户
更改其权限为root用户:
sudo -u hdfs hadoop fs -chown root /user