Hive的基本原理(一)

1. 前言
前面讲了很多关于集群搭建、以及HDFS和MapReduce的基本操作,接下来终于能学习新的内容了。。
Hive本身是数据仓库,那么什么是数据仓库呢?

数据仓库是为了协助分析报告,支持决策,为需要业务智能的企业提供业务流程的改进和指导,从而节省时间和成本,提高质量。它与数据库系统的区别是,数据库系统可以很好的解决事务处理,实现对数据的“增删改查”操作,而数据仓库则是用来查询分析的数据库,通常不会用来做单条数据的插入、修改和删除。

2. 什么是Hive
Hive是基于Hadoop构建的一套数据仓库分析工具,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;也可以将SQl语句转化为MapReduce任务运行,通过SQl去查询分析需要的内容。这套类SQL简称为HQL,使对MapReduce不熟悉的用户利用HQL语言查询、汇总、分析数据,简化MapReduce代码,从而使用Hadoop集群。而MapReduce开发人员可以把自己写的Mapper和Reducer作为插件来支持Hive做更复杂的数据分析。

3. Hive和数据库的异同
Hive与传统的关系型数据库不同,虽然Hive提供了类SQL的查询语言(Hive Query Language),但是引入HQL的主要目的是为了降低学习成本,其底层还是MapReduce。Hive本身是数据仓库,并不是数据库系统。
Hive和数据库的主要区别在于:查询语言、存储位置、数据格式、数据更新、索引、执行、执行延迟、可扩展性和数据规模几方面:

3.1 查询语言的区别

SQL语言到底和HQL语言有什么区别?

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop Hive 是构建在 Hadoop 生态系统上的数据仓库基础设施,它提供了一种类似于 SQL 的查询语言,用于处理和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。 Hive基本原理如下: 1. 数据存储:Hive 将数据以表的形式存储在 HDFS 上,数据可以是结构化、半结构化或非结构化的。Hive 表定义包含表的结构(例如列和数据类型)以及数据的存储位置。 2. 元数据管理:Hive 使用元数据来管理表和表之间的关系。元数据包括表的结构、分区信息、表的存储位置等。Hive 的元数据可以使用自带的 Derby 数据库或者外部数据库(如 MySQL)进行存储。 3. 查询优化与执行:Hive 提供了类似于 SQL 的查询语言 HiveQL,用户可以使用 HiveQL 编写查询语句。当用户提交查询时,Hive 会进行查询优化,生成一个逻辑执行计划,并将其转换为 MapReduce 作业或 Tez 任务来执行。 4. 数据转换与计算:Hive 支持用户定义的函数(UDF)和自定义聚合函数(UDAF),用户可以使用这些函数来进行数据转换和计算。Hive 还提供了一些内置函数,用于常见的数据操作和处理。 5. 数据分区与分桶:Hive 支持数据的分区和分桶,可以根据某个列的值将数据划分为多个分区,或者根据某个列的哈希值将数据划分为多个桶。这样可以提高查询性能和数据处理效率。 通过上述原理,Hive 提供了一种方便的方式来处理和分析大规模数据,并且能够与其他 Hadoop 生态系统工具(如Hadoop MapReduce、HBase等)进行无缝集成。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值