Hadoop分布式集群环境搭建二

xxx could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

在操作hive表的时候，报出了这样一个错误

查阅资料后说，是hdfs的容量不足了导致的，可是自己的虚拟机容量几十G只用了十几G，不可能不足啊。然后根据网上各种方法各种删/tmp目录各种格式化重启之后还是不行，不管是通过访问localhost：50070页面还是通过hadoop dfsadmin -report命令都发现显示容量为0，更诡异的是显示Configured Capacity: 0 (0 B)，不是容量用完了，而是根本就没有容量。

尝试put一个文件到hdfs上，报错“xxx could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.” 跟hive报的错一模一样。

愚钝如我，n久之后才想起来查看hadoop的日志，在密密麻麻的日志中注意到这样的信息“Access denied for user kevin. Superuser privilege is required” 这个是hdfs的安全检查检查到你的用户权限不足导致的，hdfs的用户权限是与本地系统的用户权限绑定在一起的。

有几种方法可以解决这个问题，由于我的是实验环境，所以选择了最暴力的一种，也就是将hdfs的安全检查关掉。（但是这种做法极其不安全！！除练习实验外强烈不建议这样做！！！）
在hdfs-site.xml中加入

<property>
         <name>dfs.permissions.enabled</name>
         <value>false</value>
</property>

重启hadoop，可以看到正常了

“org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to APPlog01/192.168.x.x:9000. Exiting. ”

今天为了解决HBase的问题，格式化了NameNode，谁知道重启hadoop的时候突然发现datanode启动不起来了，查看日志发现

其实datanode和namenode都保存有一个clusterID，当hadoop启动时，datanode就会进行匹配检查，当两者不匹配时，就会报这个错并且datanode进程挂掉。当格式化namenode之后，namenode会产生一个新的clusterID，这也就导致了两个clusterID不一样。

解决方法：首先查看你的hadoop hdfs-site.xml文件中dfs.namenode.name.dir这个属性配置的目录，以及 dfs.datanode.data.dir 这个属性配置的目录，到namenode的这个目录下的current/VERSION文件里面，找到clusterID，然后复制粘贴到datanode对应文件就行。