002-Apache Hive

Apache Hive

Apache Hive 数据仓库软件帮助在分布式存储中读取、写入和管理大型数据集，并使用SQL语法查询。

Hive是在Apache Hadoop之上构建的，它提供了以下特性：

• 是一个能够通过SQL轻松访问数据的工具，从而支持数据仓库任务，如提取/转换/加载（ETL）、报告和数据分析等。
• 一种将结构强加于各种数据格式的机制
• 对存储在 Apache HDFS 或其他数据存储系统中的文件的访问，如 Apache HBase™
• 通过 Apache Tez™、Apache Spark™ 或 MapReduce™ 执行查询
• HPL-SQL 程序语言
• 通过 Hive LLAP、Apache YARN 和 Apache Slider 进行次秒查询检索

Hive 提供了标准的 SQL 功能，包括许多后来的 SQL:2003 和 SQL:2011 的分析功能。
用户也可以通过自定义函数（udf）、聚合（UDAFs）和表函数（udf）来扩展 Hive 的 SQL 。

Hive 不能使用 “Hive format” 来指定数据存储。Hive 内置了逗号和文本文件制表符值(CSV/TSV) ，Apache Parquet™, Apache ORC™, 和其他格式的连接器。（Hive comes with built in connectors for comma and tab-separated values (CSV/TSV) text files, Apache Parquet™, Apache ORC™, and other formats. ）
用户也可以为 Hive 扩展其他格式的连接器。详细信息请参考 Developer Guide 的 File Formats and Hive SerDe。

Hive 不是为联机事务处理工作负载而设计的。它最好用于传统的数据仓库任务。
Hive 是为了最大化可伸缩性scalability （在 Hadoop 集群中动态添加更多的机器），性能、可扩展性extensibility、容错和与输入格式的松耦合而设计的。

Hive 包括 HCatalog 和 WebHCat 组件：

• HCatalog：作为 Hadoop 的一个表和存储管理层，它允许用户使用不同的数据处理工具（包括 Pig and MapReduce — 能够更好的读写表格数据）。
• WebHCat：WebHCat 提供了一个服务，用来运行 Hadoop MapReduce（or YARN）、Pig、Hive jobs or 使用一个 HTTP（REST style）接口来执行 Hive 元数据操作。