hadoop集群format后,hadoop fs -ls /结果为空的分析过程

本文介绍了在Hadoop集群执行format后,`hadoop fs -ls /`返回空,但Hive仍能显示库信息的情况。问题在于HDFS上的数据被清除,而Hive元数据仍然存在。通过创建新库并尝试删除旧库,验证了Hive的数据分为HDFS上的实际文件和MySQL中的元数据两部分。format操作不影响Hive内部表或外部表的定义。
摘要由CSDN通过智能技术生成

首先集群已经是使用过hive一段时间,然后手欠给format了,集群启动后执行hadoop fs -ls /发现结果为空,但是在hive中又能查到库的信息,如图:
在这里插入图片描述
可以看到hive中的配置信息中并没有指定warehouse的路径,所以为默认,如图:
在这里插入图片描述
此时再hive中随便创建名为的aaa的数据库
在这里插入图片描述
然后尝试删除之前的test库时报错:
在这里插入图片描述
结合上述截图,说明hive中显示的只是之前的元数据信息,本身HDFS上的实体数据因为Hadoop format后已经被清除了(如果删除了dfs目录下的文件),所以删除会报错。但是因为已经新创建了aaa库,所以就算不手动执行hadoop fs -mkdir /user/hive/warehouse,HDFS上也会重新生成warehouse文件夹,而且hive-site.xml中并没有显式的指定warehouse的路径:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值