Hadoop数据仓库hive的基本知识

  Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。

一：概述

1.1 数据仓库概念

 数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数据集合，用于支持管理决策。

数据仓库体系结构通常含四个层次：数据源，数据存储和管理，数据服务，数据应用。

数据源：是数据仓库的数据来源，含外部数据，现有业务系统和文档资料等。
数据集成：完成数据的抽取、清洗、转换和加载任务、数据源中的数据采用ETL工具以固定的周期加载到数据仓库中
数据存储和管理：此层次主要涉及对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行和维护工具和元数据管理等
数据服务：为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可以OLAP（联机分析处理）服务器为前端应用提供负责的数据服务。
数据应用:此层次直接面向用户，含数据查询工具，自由报表工具，数据分析工具，数据挖掘工具和各类应用系统

1.2 传统数据仓库的弊端

    1.无法满足快速增长的海量数据存储需求，传统数据仓库基于关系型数据库，横向扩展较差ÿ