深入浅出hive-hive简介

最新推荐文章于 2024-07-01 12:12:54 发布

秋韩

最新推荐文章于 2024-07-01 12:12:54 发布

阅读量1.3k

点赞数

分类专栏： hive研究

本文链接：https://blog.csdn.net/ls3648098/article/details/9628201

版权

hive研究专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1. 什么是hive

•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

•本质是将HQL转换为MapReduce程序

2. 为什么使用hive

•操作接口采用类SQL语法，提供快速开发的能力

•避免了去写MapReduce，减少开发人员的学习成本

•扩展功能很方便

3. hive 特点

•可扩展

Hive可以自由的扩展集群的规模，一般情况下不需要重启服务

•延展性

Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数

•容错

良好的容错性，节点出现问题SQL仍可完成执行

4. hive 与hadoop 关系

发出HQL —> hive 转换成mapreduce —> mapreduce —> 对hdfs进行操作

5. hive 与传统数据对比

	Hive	RDBMS
查询语言	HQL	SQL
数据存储	HDFS	Raw Device or Local FS
执行	MapReduce	Excutor
执行延迟	高	低
处理数据规模	大	小
索引	0.8版本后加入位图索引	有复杂的索引

6. hive 的未来

•增加更多类似传统数据库的功能，如存储过程

•提高转换成的MapReduce性能

•拥有真正的数据仓库的能力

•UI部分加强

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

秋韩

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深入浅出hive-hive简介

•Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。•本质是将HQL转换为MapReduce程序 2. 为什么使用hive
复制链接

扫一扫

专栏目录

Hive数据分层有哪些优点？具体每一层含义是什么？

Blue92120的博客

05-25

1513

业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。下面详细介绍这三层的设计。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。

Hive数仓分层架构

weixin_58078092的博客

10-28

4028

文章目录一、为什么要进行数据分层？数据分层的好处？1、原因2、好处二、hive数仓分为哪几层？1、ODS层:数据运营层（贴源层）作用我们需要做的是？2、DW层：数据仓库层(1)DWD层：数据明细层(2)DWM层：数据中间层(3)DWS层：数据服务层3、ADS层一、为什么要进行数据分层？数据分层的好处？ 1、原因对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控。 2、好处清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘

参与评论您还未登录，请先登录后发表或查看评论

Hive数据分层（ODS,DW,ADS）

m0_52184330的博客

10-25

7484

Hive中的数据分层前言这篇文章简单介绍一下hive的数据分层理论上分为三层：ODS数据运营层，DW数据仓库层，ADS数据服务层，数据运营层（ODS）:原始数据：　　ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。　　ODS层数据的来源方式：　　　　1.业务库 : 经常会使用sqoop来抽取，例如每天定时抽取一次。实时方面，可以考虑用canal监听mysql的binlog

hive数仓分层

最新发布

qq_58355375的博客

07-01

378

从ODS层到ADS层，Hive的数据仓库架构形成了一个清晰、高效的数据处理和分析流程。ODS层提供了原始数据的存储；DWD层对数据进行清洗和规范化；DIM层提供了维度数据；DWS层整合了数据并提供了高度汇总的数据；最后，ADS层将数据提供给数据产品和数据分析使用。这个流程确保了数据的高效处理和分析，为业务决策提供了有力的支持。

Hive入门、语法、底层原理流程图讲解【小二讲堂】

Mirror_w的博客

04-24

2074

一、Hive入门 1.hive基础讲解什么是hive Hive是建立在hadoop之上的数据仓库的基础架构。它提供了一些工具，可以用来进行数据提取、转化、加载（ETL）,这是一种储存、查询和分析储存在hadoop中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 ...

Hive之数仓的分层及建模理论

qq_56870570的博客

07-20

9039

数据仓库的用途整合公司所有业务数据，建立统一的数据中心产生业务报表，用于作出决策为网站运营提供运营上的数据支持可以作为各个业务的数据源，形成业务数据互相反馈的良性循环分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果开发数据产品，直接或间接地为公司盈利数仓运行简图数据集市与数仓的区别数据集市（Data Market）：是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务。数据仓库

深入浅出认识Hive

Zonzereal的博客

11-20

4057

1、什么是Hive？---Hive是一个数据仓库，不是数据库 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 ◆数据仓库和数据

浅谈Hive

ying.F的博客

04-03

552

让我们开门见山来一句介绍，Hive是建立在Hadoop HDFS上的数据仓库基础架构。在Hadoop大数据体系中，Hive和HBase事两种基于Hadoop的不同技术，Hive是一类类SQL的引擎，其数据存放在HDFS上，并运用MapReduce进行计算，适合OLAP事务。而HBase是一种在Hadoop上的NOSQL的键值对数据库，提供数据的实时访问。好，接下来我们细细地讲。数据...

深入浅出学习HIVE.pdf

02-27

Hive是基于Hadoop的一个数据仓库工具，用于将结构化...初学者可以从Hive的安装配置和使用开始，逐步深入到Hive体系结构、HiveQL的使用、Hive函数、高级编程以及Hive的优化等方面，以达到深入理解并熟练使用Hive的目标。

深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存

05-31

### 深入浅出Hive企业级架构优化 #### Hive概述 Apache Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，使不熟悉 MapReduce 的开发人员也能用 ...

深入浅出Hive企业级架构优化、Hive Sql优化,视频

05-31

深入浅出Hive企业级架构优化、Hive Sql优化,视频！！！

深入浅出 Hive

03-06

【深入浅出 Hive】 Hive 是一款基于 Hadoop 的数据仓库工具，它的主要目标是提供对大规模分布式存储在 HDFS 上的数据集进行便捷的查询和分析能力。Hive 提供了类 SQL 的查询语言——HiveQL（HQL），使得熟悉 SQL 的...

Hive_优化——深入浅出学Hive

11-09

【Hive 优化——深入浅出学 Hive】在大数据领域，Hive 是一个不可或缺的工具，主要用于数据仓库和商业智能（BI）分析。虽然它的主要操作是通过 SQL 进行，但理解其内部原理和优化策略对于提升集群执行效率至关重要...

Hive数仓分层理论(一)

m0_57254949的博客

11-01

362

Hive数仓分层理论是一种常用的数据仓库架构方法，通过将数据按照不同层次进行组织和管理，实现了数据的隔离、安全性、一致性和可重用性。原子层、集成层、暖层和服务层分别承担着不同的角色和功能，满足了不同层次的需求和目标。在实施数仓分层时，需要考虑数据流程设计、数据治理、计算和存储优化、安全与权限管理以及数据集成与应用开发等方面的策略和实施。通过合理的分层设计和管理，可以构建一个高效、可靠的数据仓库，为企业的决策和业务发展提供有力支持。

hive分层结构

qq_48959845的博客

03-01

1767

hive分层结构 hive分层结构是根据不同的业务需求而设计的。目前主流的就两种设计三层结构 ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备 DW层：数据仓库层，数据加工与整合 DA层：数据应用层，提供产品和数据分析所使用的数据四层结构 ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备 PWD层：数据仓库层，数据仓库层，数据加工与整合 DM层：为数据集市层，这层数据是面向主题

Hive数仓分层

m0_73623240的博客

10-24

1558

hive数仓分层知识点整理

hive

yaolong

11-21

1889

目录第1章 Hive入门 1.1 什么是Hive 1.2 Hive的优缺点 1.2.1 优点 1.2.2 缺点 1.3 Hive架构原理 1.4 Hive和数据库比较 1.4.1 查询语言 1.4.2 数据存储位置 1.4.3 数据更新 1.4.4 索引 1.4.5 执行 1.4.6 执行延迟 1.4.7 可扩展性 1.4.8 数据规模第2章 Hive安装 2.1 Hive安装地址 2.2 Hive安装部署 2.3 将本地文件导入Hive案例 2.4 MyS...

Hive学习---1、Hive入门、Hive 安装

星光不问赶路人，岁月不负有心人

05-30

966

Hive学习---1、Hive入门、Hive 安装

hive分层架构

m0_69432135的博客

06-15

628

在DW层处理完成的数据通过工具进行可视化加工，当数据处理完成存储在Hive中，处理完成的数据可以通过ETL工具推送到关系型数据库中（例如Mysql），一般情况下，数据都有一个储存周期，400天左右，我们使用的可视化-工具平台（基于关系型数据库Mysql储存时间400天左右），可以进行同比（年）、环比（月），这些数据形成一个数据集（结果），最后一步就是根据业务需求来配置报表。为数据仓库层，PDW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。

深入理解Hive编程指南

本文档，"Programming Hive"，由三位专家共同编写，详细阐述了Hive编程的各个方面，旨在提供深入浅出的指导，使读者能够全面掌握Hive的使用。 Hive的核心特性包括： 1. **数据抽象**：Hive提供了对数据的抽象，将...