Hive原理

最新推荐文章于 2024-11-13 20:43:20 发布

cyclebozhou

最新推荐文章于 2024-11-13 20:43:20 发布

阅读量1.1k

点赞数 1

分类专栏： hive 文章标签： hive

本文链接：https://blog.csdn.net/qq_40359681/article/details/79560302

版权

本文介绍了Hive的数据存储结构，重点讲解了分区表和分桶表的区别。分区表通过创建多个文件夹来组织数据，而分桶表则是将数据划分到多个文件中。理解这两者对于高效查询和管理Hive表至关重要。注意，当HDFS中删除表数据时，需要删除Hive的元数据并重新创建表。

摘要由CSDN通过智能技术生成

Hive的数据存储结构:

    元数据存储:通常存储在关系型数据库中比如mysql derby(hive自带的一般不用,路径不同记录不同)作用是用来将hdfs文件,目录和sql映射关系存储

Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式
在创建表时指定数据中的分隔符，Hive 就可以映射成功，解析数据。
e Hive 中包含以下数据模型：
db ：在 hdfs 中表现为 hive.metastore.warehouse.dir 目录下一个文件夹
table ：在 hdfs 中表现所属 db 目录下一个文件夹
external table ：数据存放位置可以在 HDFS 任意指定路径
partition ：在 hdfs 中表现为 table 目录下的子目录
bucket ：在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件

安装部署:

hive启动时候会加载hadoop

初步使用要点:

1. 使用sql语句ddl操作建立库和表,把文件放在这个表路径下
2. 映射成功显示不为null需要数据类型和表对应,并且分隔符要对应
3. 分区表partition:
        为了减少全表查询,可以按照需求分区划分开,即直观显示在原有表目录下根据分区名创建相关的文件
    注意:分区字段不能和表中字段重复
        是一个虚拟字段,实际结构化数据中没有,实质是一个标识
    使用方式:只能使用load data 命令加载数据
4. 分桶(簇)表clustered实质是分reducetask个数,默认是-1
        注意事项:
            1.分桶功能默认不开启需要手动开启
            2.创建分桶表的时候需要提前指定分成几桶
            3.分桶表的数据要通过insert+select方式导入