Hadoop架构、Hive相关知识点及Hive执行流程

Hadoop架构

Hadoop由三大部分组成:HDFS、MapReduce、yarn

HDFS：负责数据的存储

其中包括：

        namenode：主节点，用来分配任务给从节点

        secondarynamenode：副节点，辅助主节点

        datanode：从节点，负责实际的存储

MapReduce：负责计算

其中Map负责分解，reduce负责合并

yarn：负责资源调度

其中包括：

        resourcemanager：负责接收用户的请求，并负责集群的管理和资源调度

        nodemanager：负责执行resourcemanager分配的任务

---

Hive相关知识点

元数据:用来描述数据的数据。

元数据包含:用Hive创建的database、table、表的字段等元信息。

元数据存储:存在关系型数据库中,如:hive内置的Derby数据库或者第三方MySQL数据库等,一般使用Mysql数据库。