2024年Hive数据仓库笔记

最新推荐文章于 2024-06-14 15:00:00 发布
最新推荐文章于 2024-06-14 15:00:00 发布
阅读量939 收藏 21
点赞数 25
分类专栏： 程序员 文章标签： 数据仓库 hive 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74932057/article/details/138391609
版权

学习成本低

避免了去写MapReduce，减少开发人员的学习成本。

可扩展

Hive 可以自由扩展集群规模，一般情况下不需要重启服务

延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数

容错性

良好的容错性，即使节点出现问题 SQL 仍能够正常完成

Hive缺点

  • Hive 的 HQL 表达能力有限，迭代式算法无法表达，比如 pagerank 。数据挖掘方面，比如 k-means 。
  • Hive 的效率比较低，Hive 自动生成的 MapReduce 作业，通常情况下不够智能化
  • Hive 调优比较困难，粒度较粗
  • Hive 可控性差

Hive体系架构

Hive架构图

请添加图片描述

Hive架构基本组成

Hive 的体系结构主要分为以下几个部分：
用户接口

用户接口主要有 3 个：CLI，Client 和 WEBUI。其中最常用的就是 CLI，CLI启动时会启动一个 Hive 副本【其实就是一个 Shell 客户端】；Client 是 Hive 的客户端，用户通过其连接至 HiveServer2，在启动 Client 模式的时候，需要指出 HiveServer2 所在节点和端口，并且在该节点启动 HiveServer2；WEBUI 就是通过浏览器访问 Hive，可以使用 Hue 组件在浏览器上写 HQL 执行相关操作。

MetaStore

Hive 将元数据存储在关系型数据库中，比如 MySQL、Derby等。Hive 中的元数据包括表的名字、表的列和分区及其属性，表的属性（是否为外部表等）、表的数据所在目录等等

ThriftServer

ThriftServer 是将 Hive 作为一个服务器，其他机器可以作为客户端进行访问，可以使用多种编程语言【Java、Python 】通过代码操作 Hive。

Driver

  • SQL Parser
  • Hive 的解析器是将查询字符串转换成抽象语法树 —— AST，对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL 语义是否有误
  • Physical Plan
    将 AST 编译生成逻辑执行计划
  • SQL Optimizer
    对逻辑执行计划进行优化
  • Execution
    把逻辑执行计划转换成可以运行的物理计划任务树。对于 Hive 来说，就是 MR/Spark
    请添加图片描述
    1.完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree
    2.遍历 AST Tree，抽象出查询的基本组成单元 Query Block
    3.遍历 Query Block，翻译为执行操作树 OperatorTree，即逻辑执行计划
    4.逻辑层优化器进行 OperatorTree 变换，合并不必要的 ReduceSinkOperator，减少 Shuffle 数据量
    5.遍历 OperatorTree，翻译为 Hive job 任务，即物理计划
    6.物理层优化器进行 Hive job 任务的变换，生成最终的执行计划

数据库和数据仓库

OLTP : 联机事务处理就是保存我们日常生活中的各种用户行为产生的记录的数据平台.

  • 特点: 服务于业务,需要少量数据的频繁增删改查,要保证响应速度,保证数据安全,保证时效性.

OLAP : 联机分析处理,就是我们数据分析时所使用的海量数据存放的数据平台,一般会将多个业务数据库或各种数据源中的数据提取出来,统一存放在OLAP服务中.

  • 特点: 服务于分析,要能应对海量的数据存储和数据计算,对于响应速度要求不高,我们很少修改数据,所以也不需要对于数据的一致性,安全性等进行考虑.
数据库和数据仓库的区别
  • 本质的区别就是OLTP 和OLAP系统的区别
    • 数据库更偏重于事务处理,要求其支持事务,增删改查效率较高
      • 事务: 最小业务单元, 在执行过程中,要么全部 成功,要么全部失败
        • 举例: 小椭圆给小绿转账1000元 , 银行系统需要给小椭圆减少1000元, 给小绿增加一千元 要么同时成功,要么同时失败
        • 落实到代码层面就是多条sql语句,要么全部成功,要么全部失败.
    • 数据仓库偏重于数据吞吐量和稳定,不要求支持事务,不要求较高的响应效率,但必须可以处理海量数据或文件
    • 数据仓库不是大型的数据库，也没有要取代数据库的目标，只是一个数据分析的平台。

数据仓库核心特征

面向主题性(Subject-Oriented)

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要这份系统化资料的朋友，可以戳这里获取**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

m0_74932057
关注
专栏目录
Hive数据库
xingchenhy的博客
07-13 1869
Hive数据库： Hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive 并不能够在大规模数据集上实现低延迟快速的查询 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能 Hive 定义了简单的类 SQL 查询语言，称为 HQL，它
hive创建数据库
JOLBA的博客
12-16 1684
hive创建数据库 create database IF NOT EXISTS sip_data_drc COMMENT '测试数据库' LOCATION '/tmp/hive/root/' WITH DBPROPERTIES ('creater'='liuzd','date'='20191010'); IF NOT EXISTS：如果不存在则创建 COMMENT：...
Hive（数据库相关）
haust_允谦的博客
10-21 987
Hive hive的交互方式： 第一种交互方式 cd /export/servers/apache-hive-2.1.1-bin/ bin/hive 创建一个数据库 create database if not exists mytest 第二种交互方式：使用sql语句或者sql脚本进行交互 不进入hive的客户端直接执行hive的hql语句 cd /export/servers/apache-hive-2.1.1-bin bin/hive -e 'create database if not exis
Spark-Hive数据库
Knight
06-19 392
Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引入Hive支持，这样就可以使用这些特性了。如果你下载的是二进制版本的 Spark，它应该已经在编译时添加了 Hive 支持。 若
Hive数据库概述
wonderful_life_mrchi的博客
05-09 6163
Hive属于数据仓库的概念范畴，主要用于进行数据分析用，不适合实时数据查询。可以完成海量数据的存储，存储在HDFS上，不需要类似关系数据库那样的固定格式限制，对应的表实际上就是hadoop hdfs上的文件夹，表中数据相当于文件，具体介绍看下文。 HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，
2024年大数据最新Hive面试题汇总，BAT大厂面试基础题集合
2401_84182636的博客
05-05 298
Hive是建立在 Hadoop 上的数据仓库基础构架。可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。属于hadoop生态圈 依赖jdk，hadoop。
HIve安装踩坑手册
2401_84048895的博客
04-23 730
一般像这样的大企业都有好几轮面试，所以自己一定要花点时间去收集整理一下公司的背景，公司的企业文化，俗话说「知己知彼百战不殆」，不要盲目的去面试，还有很多人关心怎么去跟HR谈薪资。这边给大家一个建议，如果你的理想薪资是30K，你完全可以跟HR谈33~35K，而不是一下子就把自己的底牌暴露了出来，不过肯定不能说的这么直接，比如原来你的公司是25K，你可以跟HR讲原来的薪资是多少，你们这边能给到我的是多少？你说我这边希望可以有一个20%涨薪。
2024年二、简单线性回归模型（计量经济学学习笔记）(3)，2024年最新面试加分句
m0_58397123的博客
05-04 700
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取。
最新数仓面试题_知行教育数仓项目_数据集市面试题(1)，2024年最新2024大数据开发研发必问高级面试题
2401_84167109的博客
04-18 418
包含：•项目做了什么我们的教育大数据分析平台项目就是将大数据技术应用于教育行业,为企业经营提供数据支撑•用于哪个行业？行业有什么痛点是需要项目解决的教育行业，信息的共享和利用不充分，导致了学校多年信息化应用积累了大量的数据，但信息孤岛的壁垒一直没有打破，如果无法对这些数据进行进一步挖掘，分析，加工，整理，就不能给学校教育，教学，研发，总务等各方面的管理决策提供科学，有效的数据支撑。•用到了什么技术Mysql：5.7基于CM上的 hadoop，hive、hue,Oozie。
2024年Python matplotlib seaborn（学习笔记）(1)，金三银四大厂面经总结
m0_60721823的博客
05-03 931
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取。
Hive数据仓库
weixin_46579297的博客
06-15 6304
基本使用 sql语言show databases; 查看数据库 ; 不能省略优点：缺点：HIve架构设计特别说明：hive2.2以后版本变化较大，去掉了HWI模块，HiveCLI模式也直接采用了beeline链接从上图可以看出，Hive的体系结构分为以下几部分:Hive 基础应用1。Hive基础概念1.hive 数据模型2。HiveSqlDDL建表说明1 元数据：描述数据的数据2.表分类：主要分内表和外表 1.内表：元数据和数据本身均被Hive管理。删除表则全部删除 2.外表：元数据被hive管理，数据本身
Hive数据库操作
qq_58132795的博客
01-12 1681
Hive数据库操作 1、对数据库进行操作 （1）创建数据库 create database chengzhi; 如果出现如下错误： hive> create database db_hive; FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Database db_hive already exiSts 使用命令：（避免要创建的数据库已经存在错误，增加 if not exist
hive数据仓库
LMY~~的博客
11-20 1562
hive数据仓库 1.启动hadoop start-all.sh 2.开启mysql服务 service mysqld start 3.启动hive hive 4.hive的操作 （1）创建数据库 create database 库名 comment '备注'; （2）查找hive数据库 show databases; //列出所有数据库 show databases link 'f.*'; //查询f开头的数据库 （3）设置属性信息 使用WITH DBPROPERTIES参数创建一个
数据仓库-Hive(一)
美美的大猪蹄子的博客
09-19 1346
数据仓库-Hive 1. 数据仓库 1.1. 基本概念 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。 数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。 可以理解为：面...
【hive】在Hadoop下的一种关系型数据库
m0_53225687的博客
07-30 854
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。 1、什么是hive 最初，Hive是由Facebook开发，后来由Apa
Hive数据操作
StephenYou的自习室
09-21 610
目录 Hive数据操作 DDL数据定义 数据库操作 数据表操作 DML数据操作 数据导入 数据导出 Hive数据操作 DDL数据定义 数据库模式定义DDL(Data Definition Language)，是用于描述数据库中要存储的现实世界实体的语言。 数据库操作 （1）创建数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db...
Hive数据库及表操作
最新发布
qq_69558236的博客
06-14 917
常见的DDL操作包括：1. 创建数据库：CREATE DATABASE database_name;2. 创建表：CREATE TABLE table_name (column_name data_type, ...);3. 修改表结构：ALTER TABLE table_name ADD|DROP|RENAME COLUMN column_name;4. 删除表：DROP TABLE table_name;
[Hive的基本概念之---数据库 ]
汤圆的博客
06-15 1695
《咏柳》 唐·贺知章 碧玉妆成一树高，万条垂下绿丝绦。不知细叶谁裁出，二月春风似剪刀。
hive数据库操作
Forever89的博客
02-20 482
创建数据库是用来创建数据库在Hive中语句。在Hive数据库是一个命名空间或表的集合。此语法声明如下：CREATE DATABASE|SCHEMA [IF NOT EXISTS] 在这里，IF NOT EXISTS是一个可选子句，通知用户已经存在相同名称的数据库。可以使用SCHEMA 在DATABASE的这个命令。下面的查询执行创建一个名为userdb数据库：hive> CREATE DA...
Hadoop之上的Hive数据仓库详解
- **数据仓库基础设施**：Hive作为一个数据仓库，能够将来自不同源的数据整合在一起，方便进行数据管理和分析。 - **ETL（Extract, Transform, Load）**：Hive支持数据的抽取、转换和加载，帮助用户处理数据预处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值