could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node

问题描述

在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。

解决方案

网上看到的类似的解决方案有以下两种：

但我这里都不是。

我这里的原因是hdfs空间被占满了，而hive在执行的时候会往/tmp下读写大量的临时数据，由于没有空间而报错。

默认情况下，hive脚本执行完之后会自动清理掉这些临时文件。

这里之所以出现/tmp下大量文件没被清理，是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了，所以有大量临时文件未清理。

因此，最终的解决方案是删除掉这些没用的临时文件，腾出空间就好了。（最好在所有hive脚本都运行结束后再清理，否则可能会导致正在运行的脚本出现异常）