Hive数据仓库工具基本架构和入门部署详解

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

@

目录* 概述
+ 定义
+ 本质
+ 特点
+ Hive与Hadoop关系
+ Hive与关系型数据库区别
+ 优缺点
+ 其他说明

• 架构
  • 组成部分
  • 数据模型(Hive数据组织形式）
  • Metastore(元数据）
  • Compiler(编译器）
  • Optimizer(优化器)
• 安装
  • 内嵌模式
  • 本地 MetaStore
  • 远程 MetaStore
    • hiveserver2
    • metastore

概述

定义

Hive 官网 https://hive.apache.org/

Hive 官网Wiki文档 https://cwiki.apache.org/confluence/display/Hive/

Hive GitHub源码地址 https://github.com/apache/hive

Apache Hive™数据仓库软件使用SQL对分布式存储中的大型数据集进行读写和管理，结构可以映射到已存储的数据上，也提供命令行工具和JDBC驱动连接用户到Hive。目前最新版本为3.1.3

Hive由Facebook开源用于解决海量结构化日志的数据统计,基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并且提供类SQL的查询功能，这套Hive SQL简称HQL。Hive仅仅是一个工具，本身不存储数据只提供一种管理方式，同时也不涉及分布式概念；Hive不是为在线事务处理(OLTP)工作负载而设计的，它最适合用于对数据仓库进行统计分析。

本质

Hive本质就是MapReduce，将类SQL（HQL）转换成MapReduce程序，减少编写MapReduce的复杂度，MapReduce对用户来说虽然灵活，但需要用户自己实现功能接口，不像Spark高层级应用提供各种算子操作。hive支持了三种底层计算引擎包括mr、tez、spark，默认计算引擎mr，用户可以指定具体使用哪个底层计算引擎（set hive