Hive内部表在HDFS中的目录结构

最新推荐文章于 2024-07-12 08:15:00 发布

haibo_hn

最新推荐文章于 2024-07-12 08:15:00 发布

阅读量1.7w

点赞数

分类专栏： hadoop平台文章标签： Hive HDFS 目录结构

本文链接：https://blog.csdn.net/haibo_hn/article/details/69946372

版权

本文介绍了Hive内部表在HDFS中的默认存储路径，以及当创建数据库和设定表分区时，HDFS目录结构的变化。在默认情况下，内部表位于/user/hive/warehouse/目录下，与表名对应。当使用特定数据库时，Hive会为每个数据库创建子目录。此外，对于分区表，每个分区会以键值对形式存在于表目录下。

摘要由CSDN通过智能技术生成

       在使用Sqoop导入表到Hive时，偶然发现有些表没有在Hive配置的/user/hive/warehouse目录下创建目录结构，而是在/user/root目录下创建。具体原因尚未查明，谨慎怀疑是那些导入出错的表导致，需要去甲方时再具体查看。在分析这个问题时，了解了Hive内部表在HDFS中的目录结构，总结如下。

1、默认情况

Hive内部表都属于缺省库default，在HDFS的目录为/user/hive/warehouse/（以下默认Hive的HDFS根目录为/user/hive）下。下图中abc，bonus，department，dept，emp为缺省库default下的几张表，目录名与表名一致。

[root@data1 ~]# hdfs dfs -ls /user/hive/warehouse/
Found 7 items
drwxrwxrwt   - root hive          0 2017-04-07 14:24 /user/hive/warehouse/a.db
drwxrwxrwt   - root hive          0 2017-03-27 14:13 /user/hive/warehouse/abc
drwxrwxrwt   - root hive          0 2017-04-07 14