HIVE外部表删除重建指定HDFS目录后查询不到数据,怎么办
- 删除了外部表,没有删除hdfs文件
- 重建了外部表又关联到之前的hdfs目录之后,select查询却没有数据
- 需要MSCK REPAIR TABLE+tablename,之后查询,数据就回来了。
MSCK REPAIR TABLE命令是做啥的
MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。
hive有个服务叫metastore,这个服务主要是存储一些元数据信息,比如数据库名,表名或者表的分区等等信息。如果不是通过hive的insert等插入语句,很多分区信息在metastore中是没有的。只需要运行MSCK REPAIR TABLE
命令,hive就会去检测这个表在hdfs上的文件,把没有写入metastore的分区信息写入metastore。