Hive是一个构建在Hadoop上的数据仓库框架,可以将结构化的数据文件,映射为一张数据库表,并提供完整的sql查询功能。可以将sql语句,转换为MapReduce任务进行运行。
Hive选择Hadoop来存储和处理数据,因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师,能够从存放在HDFS的大规模数据集上,运行查询。
Hive 一般在工作站上运行,将SQL查询转换为一系列MapReducejob,在Hadoopcluster上运行。
表模式等元数据存放在名为metastore的数据库中。默认的metastore在本地运行。此时创建的Hive表在本地上,无法与其它用户共享。
Hive优点
Hive学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
安装和启动Hive
解压缩:
$ tar xvzfhive-1.X.X-dev.tar.gz
配置路径:
export HIVE_INSTALL=/home/hadoop-2.X/hive
export PATH=$PATH:$HIVE_INSTALL/bin
启动Hive shell:
$ hive
hive>
Hive数据类型
SQL和HiveQL的概要比较
Hive客户端
如果以服务器方式运行:
hive –service hiveserver2
可以在应用程序中,以不同机制连接到服务器:
nmaplocalhost
ufwdisable
Hive架构
Hive选择Hadoop来存储和处理数据,因为Hadoop有较好的性价比。Hive设计的目标是让精通SQL技能(Java较弱的)分析师,能够从存放在HDFS的大规模数据集上,运行查询。
Hive 一般在工作站上运行,将SQL查询转换为一系列MapReducejob,在Hadoopcluster上运行。
表模式等元数据存放在名为metastore的数据库中。默认的metastore在本地运行。此时创建的Hive表在本地上,无法与其它用户共享。
Hive优点
Hive学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
安装和启动Hive
解压缩:
$ tar xvzfhive-1.X.X-dev.tar.gz
配置路径:
export HIVE_INSTALL=/home/hadoop-2.X/hive
export PATH=$PATH:$HIVE_INSTALL/bin
启动Hive shell:
$ hive
hive>
Hive数据类型
SQL和HiveQL的概要比较
Hive客户端
如果以服务器方式运行:
hive –service hiveserver2
可以在应用程序中,以不同机制连接到服务器:
nmaplocalhost
ufwdisable
Hive架构