CDH6.3.2搭建(二)——常见组件安装及问题处理

 [Q1]安装完毕后集群HDFS报警,提示 ’集群中有293个副本不足的块。集群众共有296个块。百分比副本不足的块:98.99%。临界阈值:40% Under-Replicated Blocks‘,

【原因】产生的原因只安装了2台机器,DataNode节点只有2个,而安装过程中采用的都是默认配置,dfs.replication 默认设置的为3,所以导致次报警
 

【解决方法】

1)CM中复制因子改为2
      dfs.replication =  2

2)cdh01机器上执行

hadoop fs -setrep 2 /

此时会报root用户无权限:: Permission denied: user=root, access=READ_EXECUTE, inode="/user/spark":

对CDH用户:对于文件夹/user,注意,这个文件夹的拥有者不是所谓的“root”。实际上,这个文件夹为“hdfs”所有(755权限,这里将hdfs理解为一个属于supergroup的用户)。 

所以,只有hdfs可以对文件夹进行写操作。与Unix/Linux不同,hdfs是超级使用者(superuser),而不是root。

【解决方法】在CDH HDFS页面中添加超级用户

更改其权限为root用户:

sudo -u hdfs hadoop fs -chown root /user

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值