大数据Hive和Spark究竟是凭借什么优势而大获成功？

Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。作者：读芯术

 

什么是Hive?

Hive是在Hadoop分布式文件系统上运行的开源分布式数据仓库数据库，用于查询和分析大数据。数据以表格的形式存储(就像关系数据库管理系统一样)。数据操作可以使用名为HiveQL的SQL接口来执行。Hive在Hadoop之上引入了SQL功能，使其成为一个水平可扩展的数据库，是DWH环境的绝佳选择。

Hive发展史掠影

Hive(即后来的Apache)最初是由Facebook开发的，开发人员发现他们的数据在几天内出现了从GBs到TBs的指数级增长。当时，Facebook使用Python将数据加载到RDBMS数据库中。因为RDBMS数据库只能垂直伸缩，很快就面临着性能和伸缩性问题。他们需要一个可以水平伸缩并处理大量数据的数据库。Hadoop在当时已经很流行了;不久之后，构建在Hadoop之上的Hive出现了。Hive与RDBMS数据库类似，但不是完整的RDBMS。

为什么选择Hive?

选择Hive的核心原因是它是运行在Hadoop上的SQL接口。此外，它还降低了MapReduce框架的复杂性。Hive帮助企业在HDFS上执行大规模数据分析，