大数据技术之Hive基础知识及基础操作（一）

一、数据仓库

数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数。据集合，用于支持管理决策。

二、数据仓库的体系结构

三、Hive简介

•Hive是一个构建于Hadoop顶层的数据仓库工具

•某种程度上可以看作是用户编程接口，本身不存储和处理数据

•依赖分布式文件系统HDFS存储数据

•依赖分布式并行计算模型MapReduce处理数据

•定义了简单的类SQL 查询语言——HiveQL

•用户可以通过编写的HiveQL语句运行MapReduce任务

•支持类似SQL的接口，容易进行移植

•是一个可以提供有效、合理、直观组织和使用数据的分析工具

Hive具有的特点非常适用于数据仓库：

•采用批处理方式处理海量数据

• Hive需要把HiveQL语句转换成MapReduce任务进行运行

• 数据仓库存储的是静态数据，对静态数据的分析适合采用批处理方式，不需要快速响应给出结果，而且数据本身也不会频繁变化

•提供适合数据仓库操作的工具

• Hive本身提供了一系列对数据进行提取转化加载的工具，可以存储、查询和分析存储在Hadoop中的大规模数据

• 非常适合数据仓库应用程序维护海量数据、对数据进行挖掘、形成意见和报告等

四、Hive与其他组件关系

•Hive依赖于HDFS 存储数据

HDFS作为高可靠性的底层存储，用来存储海量数据

•Hive依赖于MapReduce 处理数据

MapReduce对这些海量数据进行处理，实现高性能计算，用HiveQL语句编写的处理逻辑最终均要转化为MapReduce任务来运行

•Pig可以作为Hive的替代工具

pig是一种数据流语言和运行环境，适合用于Hadoop和MapReduce平台上查询半结构化数据集。常用