本文介绍了Hive作为数据仓库工具的功能，它基于Hadoop，提供了SQL查询接口。Hive解决数据存储问题，元数据存储在MySQL或Derby中。文章详细讲解了Hive的安装过程，包括配置Hadoop路径、安装MySQL、设置MySQL远程访问权限，以及上传MySQL驱动。最后，文章讨论了Hive数据类型的使用，并概述了Hive作业执行的三个阶段：生成作业包、提交YARN执行和存储元数据。
引入Hive框架
Hive对了解内部的人员，知道他Hive是对Hadoop的封装。
对外部人员而言：知道Hive可以接收sql语句执行，就以为这是一个新型数据库
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
Hive中需要解决两部分数据的存储问题:
- 数据本身存储在HDFS
- 数据描述部分，存储在MetaStroe
最低0.47元/天 解锁文章
扫一扫
8702
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
