Hodoop配置中遇到的问题

1.该异常是向hadoop写入目录是遇到异常//已解决

```

Exception in thread "main" org.apache.hadoop.security.AccessControlException: 
Permission denied: user=Administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x复制代码

```

解决方案

向hdfs-site中添加如下代码

重启集群有效

```

<property>
  <name>dfs.permissions</name>
  <value>false</value>
//以下可以省略
  <description>//描述
    If "true", enable permission checking in HDFS.
    If "false", permission checking is turned off,
    but all other behavior is unchanged.
    Switching from one parameter value to the other does not change the mode,
    owner or group of files or directories.
  </description>
</property>复制代码

```

2.总是有datanode显示不出来//已解决

问题是直接拷贝镜像造成两台DataNode的storageID出现了冲突;

解决方案:直接将出现异常的那台机器的data目录删除!data目录在hdfs-site.xml里 ,一般在${hadoop.tmp.dir}/dfs/data下

3.namenode无法启动datanode //已解决

问题:Namenode上namespaceID与datanode上namespaceID不一致。


原因:每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下 的所有目录



解决方案:把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION文件中的clusterID改为与dfs.name.dir在本地系统的路径下的current/VERSION文件中的clusterID一样。

注意:把namenode与datanode设为一致也可以(只改namenode),但会清空namenode;


转载于:https://juejin.im/post/5b223466e51d4558ac486ac4

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值