Hive(1) Hive介绍以及Hive架构详解

最新推荐文章于 2024-07-17 18:00:00 发布

Alaskyed

最新推荐文章于 2024-07-17 18:00:00 发布

阅读量505

点赞数 1

分类专栏：大数据 # Hive 文章标签： hive hadoop

本文链接：https://blog.csdn.net/alaskyed/article/details/105444201

版权

本文介绍了Hive作为数据仓库工具的基本概念，它基于Hadoop并提供类SQL查询功能。文章详细阐述了Hive的优点，如简化开发和处理海量数据，同时也指出了其延迟高、不支持实时查询等缺点。此外，还对比了数据库与数据仓库的区别，并概述了Hive的架构和执行流程，包括客户端、元数据、Hadoop组件、驱动器、解析器、编译器、优化器和执行器的角色和作用。

摘要由CSDN通过智能技术生成

Hive介绍以及Hive架构详解

概念

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能, 是一种大数据离线分析工具

Hive的底层就是将类SQL语句转换成MapReduce

Hive提供了一系列的工具, 可以用来进行数据提取, 转化, 加载(ETL Extract-Transform-Load)

Hive的特点

优点

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）
避免了去写MapReduce，减少开发人员的学习成本
Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数
可以处理海量数据

缺点

因为Hive底层是MapReduce, 所以执行延迟比较高, 无法提供实时查询, 而且不支持流式数据
不支持行级别的增删改
迭代算法无法表达
Hive优化比较困难

数据库和数据仓库对比

数据库	数据仓库
为线上系统提供实时数据	为离线分析存储历史数据
具有完整的增删改查的能力	只支持一次写入多次查询，不支持行级别的增删改
具有完整的事务能力	不强调事务的特性