Hive基础

目录

hive的基础知识

        hive优缺点

                      hive架构

---

hive的基础知识

hive是Hadoop生态系统中必不可少的一个工具，它可以将存储在hdfs中的结构化数据映射为数据库的一张表，并提供了一种SQL方言对其进行查询，而这些SQL语句最终会翻译成mapreduce程序执行，Hive的本质，就是为了简化用户编写MapReduce程序而生的一种框架，它本身并不会存储和计算数据，完全依赖与HDFS和MapReduce。

hive定义：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，
并提供类SQL查询功能。其本质是：将HQL转化成MapReduce程序

hive优缺点

优点
    1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
    2)避免了去写MapReduce，减少开发人员的学习成本。
    3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
    4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
    5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
    缺点
    Hive的HQL表达能力有限
    1)迭代式算法无法表达
    2)数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。
    Hive的效率比较低
    1)Hive自动生成的MapReduce作业，通常情况下不够智能化
    2)Hive调优比较困难，粒度较粗

hive架构

    1．用户接口：Client
    CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）
    2．元数据：Metastore
    元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、
列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
    默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore
    3．Hadoop
    使用HDFS进行存储，使用MapReduce进行计算。
    4．驱动器：Driver
    解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，
这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、
字段是否存在、SQL语义是否有误。
    编译器（Physical Plan）：将AST编译生成逻辑执行计划。
    优化器（Query Optimizer）：对逻辑执行计划进行优化。
    执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，
就是MR/Spark

 表中的客户端有三种：CLL(命令行客户端),HWI(网页客户端)和Thrift Server(编程客户端)

在客户端输入的所有命令和查询都会进入都Driver中（驱动模块）进行解析，编译，优化和执行

Driver包括SQL Parser，Physical Plan，Ouery Optimizer和Execution。SQL Parser是解析器，用于将SQL语句转化成抽象语法树，Physical Plan是编译器用于将抽象语法树编译生成逻辑计划，

Ouery Optimize是优化器，用于对逻辑执行计划进行优化，Execution是执行器，用于把逻辑执行计划转化为可执行的MapReduce程序。

Meta Store（元数据存储）是一个独立的关系型数据库(通常是MySQL），hive会在其中保存表模式和其他系统元数据。