学习篇-Hadoop-Hive-基础理论

一、Hadoop-Hive-基础理论

1. Hive-产生背景

• MapReduce编程的不便性
• 传统RDBMS人员的需要

2. Hive-概述

• 什么是Hive

  官方定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL.

  • 释义：Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理存储在分布式存储中的大型数据集。

  总结：

  • 由Facebook开源，用于解决海量结构化日志的数据统计问题。
  • 构建在hadoop之上的数据仓库。
  • Hive提供的SQL查询语句：HQL
  • 底层支持多种不同的执行引擎
    • 1.x 默认MR
    • 2.x 默认Spark
    • Tez

• 为什么使用Hive

  • 简单、容易上手。
  • 为超大数据集设计的计算/扩展能力。
  • 提供了统一的元数据管理。

• Hive在Hadoop生态系统中的位置
  

• Hive体系结构
  

  • client：shell、thrift/jdbc
  • Metastore：元数据信息
  • RDBMS：存储Metastore信息

• Hive部署架构

  • Hive不涉及到集群的概念，因为只是一个客户端而已。
  • 对应的RDBM需要具备主从备份

• Hive与RDBM的区别

  区别	Hive	RDBMS
  查询语言	HQL	SQL
  数据库的存储位置	HDFS	Raw Device 或者Local FS
  数据格式	用户定义	系统决定
  数据更新	不支持	支持
  索引	无	有
  执行	MapReduce	Executor
  执行延迟	高	低
  可扩展性	高	低
  数据规模	大	小