Hive(1)——安装

概念

基于Hadoop的一个数据仓库工具，可以将 结构化的数据文件 映射为一张表(类似于RDBMS中的表)，并提供类SQL查询功能

Hive是由Facebook开源，用于解决海量结构化日志的数据统计。
Hive本质是：将 SQL 转换为 MapReduce 的任务进行运算，底层由HDFS来提供数据存储
可以将Hive理解为一个：将 SQL 转换为 MapReduce 任务的工具 ；

Hive的优缺点

1. 优点

   学习成本低。Hive提供了类似SQL的查询语言，开发人员能快速上手；
   处理海量数据。底层执行的是MapReduce 任务；
   系统可以水平扩展。底层基于Hadoop；
   功能可以扩展。Hive允许用户自定义函数；
   良好的容错性。某个节点发生故障，HQL仍然可以正常完成；
   统一的元数据管理。元数据包括：有哪些表、表有什么字段、字段是什么类型

2. 缺点

   HQL表达能力有限；
   迭代计算无法表达；
   Hive的执行效率不高(基于MR的执行引擎)；
   Hive自动生成的MapReduce作业，某些情况下不够智能；
   Hive的调优困难

hivd架构图

解析器 (SQLParser) ：使用第三方工具（antlr）将HQL字符串转换成抽象语法树（AST）；对AST进行语法分析，比如字段是否存在、SQL语义是否有误、表是否存在；

编译器 (Compiler) ：将抽象语法树编译生成逻辑执行计划；

优化器 (Optimizer) ：对逻辑执行计划进行优化，减少不必要的列、使用分区等；

执行器 (Executr) ：把逻辑执行计划转换成可以运行的物理计划；