大数据技术之Hive概述

最新推荐文章于 2024-01-09 14:45:39 发布

有态度的程序猿

最新推荐文章于 2024-01-09 14:45:39 发布

阅读量370

点赞数

文章标签： hadoop hive

本文链接：https://blog.csdn.net/guoxizhang/article/details/115014716

版权

本文介绍了Hive的基本概念、优缺点、架构原理以及与数据库的比较。Hive是由Facebook开源的用于海量结构化日志数据统计的工具，基于Hadoop，提供类SQL查询功能。其优点包括易于学习、适合大数据分析，但效率较低且不支持实时查询。Hive的架构涉及Client、Metastore、Hadoop和Driver，通过MapReduce进行计算。与数据库相比，Hive更适合批处理分析，不适合实时应用。

摘要由CSDN通过智能技术生成

基本概念

hive简介

Hive:由facebook开源用于解决海量结构化日志的数据统计工具.
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能.
Hive本质:将HQL转化为MapReduce程序
在这里插入图片描述
(1)Hive处理的数据存储在HDFS
(2)Hive分析数据底层的实现是MapReduce
(3)执行程序运行在Yarn上

Hive的优缺点

优点

(1)操作接口采用类SQL语法,提供快速开发的能力(简单,容易上手).
(2)避免了去写MapReduce,减少了开发人员的学习成本
(3)Hive优势在于处理大数据,支持海量数据的分析与计算
(4)Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数

缺点

(1)Hive的表达能力有限
1.Hive自动生成的MapReduce作业,通常情况下不够智能化
2.数据挖掘方面不擅长,由于MapReduce数据处理流程的限制,效率更高的算法缺无法实现
(2)Hive的效率比较低
1.Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合
2.Hive调优比较困难,粒度较粗
(3)

最低0.47元/天解锁文章