数据研发学习笔记4.7：大数据之数据仓库Hive

最新推荐文章于 2023-03-21 08:59:06 发布

Lynn Wen

最新推荐文章于 2023-03-21 08:59:06 发布

阅读量997

点赞数

分类专栏：数据研发学习笔记文章标签：数据仓库大数据 hive hadoop 数据挖掘

本文链接：https://blog.csdn.net/weixin_41961559/article/details/106170923

版权

19 篇文章 10 订阅

订阅专栏

1 数据仓库概念

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

根本目的：基于数据仓库的分析结果，支持企业内部的商业分析和决策。

在这里插入图片描述
传统数据仓库在大数据时代面临的挑战：

真是因为传统数据仓库无法更好满足企业应用需求，基于Hadoop平台的数据仓库产品Hive很自然的就填补空白。
在这里插入图片描述

（1）Hive两个方面特性：

① 采用批处理方式处理海量数据

② Hive提供了一系列对数据进行提取、转换、加载（ETL）的工具

在这里插入图片描述
（2）Hive与传统数据库对比分析：

（3）Hive在企业大数据分析平台中的应用：

（4）Hive在Facebook公司的应用：

（5）Hive对外访问的接口：

Hive本身不做具体的数据处理和存储，而是把SQL语句转换成相关的MapReduce作业。

（1）SQL语句转换成MapReduce作业的基本原理

在这里插入图片描述
① join

② group by

（2）Hive中SQL查询转换成MapReduce作业的过程

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

（1）create
在这里插入图片描述

（2）show

（3）load

（4）insert

在这里插入图片描述

进入Hive命令行界面，编写HiveQL语句实现WordCount算法：

在这里插入图片描述

关注