Hive架构及存储结构

本文介绍了Hive作为SQL解析引擎的工作原理,对比了Hive与MySQL的区别,包括查询语言、数据存储、数据更新等方面。同时,详细阐述了Hive的架构,包括用户接口、元数据存储和执行流程。此外,还探讨了Hive数据存储的位置以及内部表、外部表、分区和桶的概念。
摘要由CSDN通过智能技术生成

  • Hive是一个SQL解析引擎,将SQL语句转译成MapReduce Job Hive SQL编译过程
  • Hive中的表是纯逻辑表,只是表的定义,即表的元数据。本质就是Hadoop的目录/文件,达到了元数据与数据存储分离的目的
  • Hive本身不存储数据,它完全依赖HDFS和MapReduce

Hive和MySQL(传统关系型数据库)的区别

1.查询语言不同:Hive是hql语言,MySQL是sql语句
2.数据存储位置不同:Hive是把数据存储在HDFS上,而MySQL数据是存储在本地系统
3.数据格式:Hive数据格式可以用户自定义,MySQL由系统决定
4.数据更新:Hive不支持数据更新,只可以读,而sql支持数据更新
5.索引:Hive没有索引,因此查询数据的时候是需要扫描所有数据,也造成了Hive查询数据速度很慢的原因(在0.8版本后加入位图索引),而MySQL有索引
6.延迟性:Hive延迟性高,而MySQL延迟性低
7.数据规模:Hive存储的数据量超级大,而MySQL只是存储一些少量的业务数据
8.底层执行原理:Hive底层是用的MapReduce,而MySQL是excutor执行器

Hive架构

Hive的基本组成
用户接口:

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值