hive的学习笔记2-hive源码的编译

原创 2016年05月30日 22:02:10

hive架构

hive的用户(提交SQL的方式)

1.Cli(命令行)
Cli(hive shell)
2.JDBC/ODBC(面向应用程序进行编程开发)
3.Web UI(Hue/hwi)(不常用)

sql提交以后经过三个步骤

1.编译
2.优化
3.执行
生成类似mapreducer的task。提交到hadoop集群上执行。

hive 架构

hive的架构
- Command-line shell 和Thrift/jdbc这两个相当于相当于客户端。
Thrift是一种跨语言的服务。
- Metastore 元数据存有:database(location/owner/name)/table。存在mysql上。
真正的hive的数据存在hdfs上
hive自带一个berby数据库,一般不使用。只能启动一个命令行。
- Driver:一个SQL运行以后,会先经过Driver,然后经过mapReduce执行,然后写到HDFS或HBase上。
driver:包括很多部分
1.编译:将SQL转换成一个抽象的语法树
2.解析:解析成hive可以认识的东西(检查表是否存在,列是否存在,语法是否正确)如果sql语句没有问题,就会转化成一个逻辑的查询计划。
3.优化:将逻辑的执行计划转化成物理的窒息计划。将优化后的执行计划交由执行引擎来使用。(执行引擎:mapreduce)
4.序列化与反序列化(Serializer/Deserializer)

hive中支持的数据类型

简单的数据类型

  • int
  • boolean
  • float
  • string
  • timestamp

复杂的数据类型

  • struct
  • map
  • array

hive的数据抽象

hive中任何一个数据库(表)对应的都是hdfs上的一个文件夹。hive的数据结构

hive的亮点

  • 写hive比mapredce简单
  • hql和sql非常类似,语法类似
  • hive提供了很多内置函数,在分析统计上比较方便
  • hive 支持udf函数(user-defined function)
  • hive在大规模的数据集上,支持各种数据类型
  • hive支持权限控制,支持元数据管理。
  • hive还有很多查询优化

hive的源码编译

maven的安装

先安装一个maven
进入maven的网站 maven.apache.org/下载最新版maven
解压到soft文件夹下,并配置环境变量。

sudo gedit /etc/profile
export MAVEN_HOME=/home/devil/soft/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
source /etc/profile

修改maven的配置文件

修改maven的conf文件夹下的settings.xml文件。
设置maven的本地仓库

<localRepository>/home/devil/maven_repos</localRepository>

这样maven就搭建好了,可以通过命令

mvn -version

查看maven的版本

编译hive的源码

在hive.apache.org下载hive的源码,解压下来。在解压后的文件夹下执行命令:

mvn clean install -Phadoop-2,dist -DskinpTests -Dhadoop-23.version=2.7.1 -Dspark.version=1.4.1 

这一步大概编译了半小时,看其他资料说,可以在maven/conf下的settings.xml中设置镜像为oschina的镜像,提高编译速度,但我设置以后,提醒502错误。

编译完成后在/home/devil/soft/hive-1.2.1-src/packaging/target文件夹里面就是我们的编译后的东西。
我们可以用里面的apache-hive-1.2.1-bin.tar.gz来进行hive 的安装。

版权声明:

相关文章推荐

hive学习笔记

  • 2015-10-16 09:29
  • 313KB
  • 下载

Hive 学习笔记

  • 2014-09-22 15:17
  • 627KB
  • 下载

Hive学习笔记(二) Hive源码编译与安装

首先,在实际工作中我们有时候会对Hive源码进行修改,因此学会对它进行编译也很重要; 一、安装maven环境; 二、编译 三、安装Hive 1、解压、配...

Hive学习笔记

  • 2013-10-08 11:11
  • 494KB
  • 下载

阿里巴巴Hive学习笔记.docx

  • 2013-11-18 12:56
  • 311KB
  • 下载

《走近大数据之Hive进阶》学习笔记(2)

建议:请先看一下鄙人另一篇学习笔记《走近大数据之Hive入门》,再看这个进阶的效果更好!http://blog.csdn.net/to_Baidu/article/details/52432217第一...

hive学习笔记

  • 2011-11-07 16:50
  • 311KB
  • 下载

hive学习笔记

  • 2015-03-06 01:34
  • 2.64MB
  • 下载

Hive学习笔记1@Hiveserver2高可用实现

在生产环境中使用Hive,强烈建议使用HiveServer2来提供服务,好处很多: 在应用端不用部署Hadoop和Hive客户端; 相比hive-cli方式,HiveServer2不用直接将HDFS和...

hive学习笔记

  • 2016-06-21 17:58
  • 627KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)