Hive安装部署

翻译 2017年01月03日 16:42:15

实验目的

1、了解hive的安装部署

2、了解hive的工作原理

实验环境

1、Linux Ubuntu 14.04

2、hadoop-2.6.0-cdh5.4.5

3、hadoop-2.6.0-eclipse-cdh5.4.5.jar

4、hive安装包hive-1.1.0-cdh5.4.5.tar.gz

5、mysql-connector-java-5.1.26-bin.jar

实验内容

在已安装好的Hadoop环境基础上,安装并配置Hive。

实验步骤

1、Hive的安装包hive-1.1.0-cdh5.4.5.tar.gz以及mysql-connector-java-5.1.26-bin.jar,放在/apps/toolbox目录下。

2、切换到/apps/toolbox目录下,将hive-1.1.0-cdh5.4.5.tar.gz,解压缩到/apps目录下

  1. cd /apps/toolbox  
  1. tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /apps/  

再切到/apps目录下,将/apps/hive-1.1.0-cdh5.4.5,重命名为hive

  1. mv /apps/hive-1.1.0-cdh5.4.5/ /apps/hive  

3、使用vim打开用户环境变量

  1. vim ~/.bashrc  

将Hive的bin目录,添加到用户环境变量PATH中。

  1. #hive config  
  2. export HIVE_HOME=/apps/hive  
  3. export PATH=$HIVE_HOME/bin:$PATH  

执行source命令,使Hive环境变量生效。

  1. source ~/.bashrc  

4、由于Hive对元数据的存储,需要连接mysql。所以需要拷贝/apps/toolbox下的mysql-connector-java-5.1.26-bin.jar到hive的lib目录下。

  1. cp /apps/toolbox/mysql-connector-java-5.1.26-bin.jar /apps/hive/lib/  

5、切换到/apps/hive/conf目录下,创建hive-site.xml文件

  1. cd /apps/hive/conf  
  1. touch hive-site.xml  

使用vim打开hive-site.xml文件,并将下列配置项,添加到hive-site.xml文件中

  1. <configuration>  
  2.     <property>  
  3.         <name>javax.jdo.option.ConnectionURL</name>  
  4.         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=latin1</value>  
  5.     </property>  
  6.     <property>  
  7.         <name>javax.jdo.option.ConnectionDriverName</name>  
  8.         <value>com.mysql.jdbc.Driver</value>  
  9.     </property>  
  10.     <property>  
  11.         <name>javax.jdo.option.ConnectionUserName</name>  
  12.         <value>root</value>  
  13.     </property>  
  14.     <property>  
  15.         <name>javax.jdo.option.ConnectionPassword</name>  
  16.         <value>strongs</value>  
  17.     </property>  
  18. </configuration>  

由于Hive的元数据会存储在Mysql数据库中,所以需要在Hive的配置文件中,指定mysql的相关信息

javax.jdo.option.ConnectionURL:数据库链接字符串

javax.jdo.option.ConnectionDriverName:连接数据库的驱动包

javax.jdo.option.ConnectionUserName:数据库用户名

javax.jdo.option.ConnectionPassword:连接数据库的密码

6、下面需要告诉hive,Hadoop的环境配置。所以我们需要修改hive-env.sh。首先我们需要将hive-env.sh.template,重命名

  1. mv /apps/hive/conf/hive-env.sh.template  /apps/hive/conf/hive-env.sh  

使用vim打开hive-env.sh,并追加hadoop的路径,以及Hive配置文件的路径。

  1. # Set HADOOP_HOME to point to a specific hadoop install directory  
  2. # HADOOP_HOME=${bin}/../../hadoop  
  3. HADOOP_HOME=/apps/hadoop  
  4. # Hive Configuration Directory can be controlled by:  
  5. # export HIVE_CONF_DIR=  
  6. export HIVE_CONF_DIR=/apps/hive/conf  

7、下一步,就是在Mysql中,创建用于存储元数据的数据库。首先,来查看一下 Mysql服务是否已经启动

  1. sudo service mysql status  

通过上图,可以看出,Mysql已正常运行,如果未正常运行,则需要执行启动代码

  1. sudo service mysql start  

如果未安装Mysql则需要执行。目前我们的环境都已安装mysql,所以无需执行此步。

  1. sudo apt-get install mysql-server  

8、进入Mysql,输入命令

  1. mysql -u root -p  

此时会提示输入密码,进入mysql。此处密码为strongs

创建名为hive的数据库,编码格式为latin1编码,用于存储元数据

  1. create database hive CHARACTER SET latin1;  

使用命令,查看数据库是否创建成功

  1. show databases;  

下面,输入exit退出Mysql连接

  1. exit  

9、输入jps,查看Hadoop相关进程是否已经启动。

如果Hadoop未启动,则首先启动hadoop

  1. /apps/hadoop/sbin/start-all.sh  

如果hadoop已启动,则直接输入hive命令,启动Hive命令行

  1. hive  

输入HQL语句,测试Hive是否可以正常使用。

  1. show databases;  

至此Hive安装完毕。

相关文章推荐

CDH550@hive安装部署

  • 2017年11月14日 09:34
  • 89KB
  • 下载

Hive 的安装部署和测试

Hive的安装Hive安装需求 根据hive安装的需求: hive1.2需求1.7+的jdk版本 hive0.14-1.1 需求1.6+的jdk版本 (preferred)hadoop2.0+...

Centos7下Hive-1.2.1安装部署

Centos7下Hive-1.2.1安装部署

Hive安装部署

hadoop hive安装部署进入hadoop用户目录 下载hive wget http://mirrors.cnnic.cn/apache/hive/hive-1.2.1/apache-hive...

Hadoop入门进阶课程8--Hive介绍和安装部署

该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses/237 【注】该系列...

Mac hive2.0.1 独立模式安装部署

前提:安装好haoop和mysql      这里我的hadoop2.7.1   mysql5.5版本 1、下载apache-hive-2.0.1-bin.tar.gz 2、解压apache-hi...

Spark2.0.1 on yarn with hue 集群安装部署(六)hue+hive+sparksql

hue+hive+sparksql hue bug,spark bug hive metastore spark默认访问derby数据库
  • dockj
  • dockj
  • 2016年11月28日 22:55
  • 1095

HIVE 的安装部署

1、下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz 2、解压hive安装文件 tar -...

(3)Hive 1.2.1 安装部署

引言 安装Hive 121 1 首先将压缩包解压并改名为了方便 2 修改四个模版文件hiveconf文件夹下面 3 编辑hive-sitexml将改文件属性设置清空 4 修改hive的配置文件hive...

Hive安装部署详解

一:Hive简介 Hive在Hadoop生态圈中属于数据仓库的角色。它能够管理Hadoop中的数据,同时可以查询Hadoop中的数据。从本质上讲,Hive是一个SQL解析引擎。Hive可以把SQL查询...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hive安装部署
举报原因:
原因补充:

(最多只允许输入30个字)