什么是hive?
下面来看百度百科对hive的解释:
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
百度百科的解释是不是看不太懂,不要急,下面来说个小故事:
在很久很久以前....
有一个名叫facebook的公司,他们在公司内部搭建了数据仓库(你可以理解成把一大堆数据放到一个地方,然后做成报表给老板看!),是基于mysql的。后来随着数据量的不断增加,这种传统的数据库扛不住了...于是经过一系列的折腾换到了hadoop上(hadoop是个大数据体系,用的是里面的hdfs,做存储的。你可以理解成搞一堆破烂机器凑成个集群,然后存储超级多的数据)。
问题来了!
以前基于数据库的数据仓库用sql就能做查询,现在换到hdfs上面,得跑Mapreduce任务去做分析,这样以前做分析的人还得学mapreduce,好难呀!
于是...他们开发了一套框架可以用sql来做hdfs的查询(用户输入的是sql,框架内部把sql转成mapreduce的任务,然后再去跑分析)。
于是,Hive诞生了...
hive解决了什么问题?
Hive基于类似SQL的语言完成对hdfs数据的查询分析。
参考博客:https://www.cnblogs.com/xing901022/p/5823811.html(注:此博客中还包含hive的搭建与使用)