Hive 数仓工具(1) DataWareHours 基础 原理 安装 配置

数据仓库 DW Data WareHours
HIVE是一个数仓工具,用来数据提取,转化,加载,是一种可以存储,查询和分析存储在hadoop中的大规模数据的机制
hive数据仓库工具能够将结构化的数据文件映射成数据库表,并提供sql查询功能,能够将SQL语句转变成MapReduce任务来执行

    处理HDFS中结构化的静态数据
    通过MapReduce程序在YARN(分布式资源调度平台和任务划分平台)平台上处理,一般将处理的结果放到HDFS上(开发成本高,周期长)
Hive SQL-->
    HQL CLI客户端 写sql
        1读mysql中标的元数据信息 数据位置
        2解析SQL语句 分析优化 转成MR程序
    Mysql数据库 存储表结构和对应的数据位置
    HDFS表和数据的映射 根据数据结构创建表结构
        1建表 表结构根据处理的数据决定
        2描述表结构的信息叫表的元数据
        3指定处理数据的位置
    

1 hive是什么有什么用
    hive是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似于SQL查询.
    本质上是:将HiveSQL 转化为MapReduce程序或者spark程序
        处理的数据存储在hdfs上
        分析数据底层的实现是MapReduce/spark(分布式运算框架)
        执行程序运行在Yarn上
    优点:
        操作接口采用类SQL语法,提供快速开发的能力(简单,容易上手)
        避免了写MapReduce,减少了学习成本
        HIVE的执行延迟比较高,常用于数据分析,对实时性要求不高的场合.
        优势在处理大数据上,对于小数据,hive的执行延迟比较高
        支持用户自定义函数,可以根据自己的需求来实现自己的函数.
    缺点:
        Hive的HQL表达能力有限
            迭代器算法无法表达
            数据挖掘方面不擅长
        Hive的效率比较低
            自动生成的MapReduce作业,不够智能
            调优比较困难,粒度较粗
            
2 hive工作原理
    1用户接口:Client
        CL1(hive shell),JDBC/ODBC(java访问hive).WEBUI(浏览器访问hive)
    2元数据:Metastore
        元数据包括:表名,表所属的数据库(默认为default)
            表的拥有者,列/分区字段,表的类型(是否为外部表)
            表的数据所在目录等
            默认存储在自带的derby中,推荐使用MySQL存储Memstore
    3Hadoop
        使用HDFS进行存储,使用MapReduce进行计算.
    4驱动器:Driver
        (1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST.对AST进行语法分析
        (2)编译器(Physical Plan):将AST编译生成逻辑执行计划
        (3)优化器(Query Optimizer):对逻辑执行计划进行优化
        (4)执行器(Execution):对逻辑执行计划转化成可以运行的物理计划,对于hive来说就是MR/Spark
    Hive通过给用户提供一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(Menstore)
        将这些指令翻译成MapReduce,提交到Hadoop中执行,最后将执行返回的结果输出到用户交互接口
    
3 hive查看数据库的属性
    创建数据库 create database if not exists db_xxxx location "/db_xxx.db";
        if not exists(判断是否已经存在)
        location "/db_xxx.db"(指定数据库在HDFS上的位置)
    查询数据库 
        显示数据库 show databases;
            showdatabases like "db*";(过滤显示)
        查看数据库详情
            desc database db_xxx;
            desc database exte