Hive安装部署

翻译 2017年01月03日 16:42:15

实验目的

1、了解hive的安装部署

2、了解hive的工作原理

实验环境

1、Linux Ubuntu 14.04

2、hadoop-2.6.0-cdh5.4.5

3、hadoop-2.6.0-eclipse-cdh5.4.5.jar

4、hive安装包hive-1.1.0-cdh5.4.5.tar.gz

5、mysql-connector-java-5.1.26-bin.jar

实验内容

在已安装好的Hadoop环境基础上,安装并配置Hive。

实验步骤

1、Hive的安装包hive-1.1.0-cdh5.4.5.tar.gz以及mysql-connector-java-5.1.26-bin.jar,放在/apps/toolbox目录下。

2、切换到/apps/toolbox目录下,将hive-1.1.0-cdh5.4.5.tar.gz,解压缩到/apps目录下

  1. cd /apps/toolbox  
  1. tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /apps/  

再切到/apps目录下,将/apps/hive-1.1.0-cdh5.4.5,重命名为hive

  1. mv /apps/hive-1.1.0-cdh5.4.5/ /apps/hive  

3、使用vim打开用户环境变量

  1. vim ~/.bashrc  

将Hive的bin目录,添加到用户环境变量PATH中。

  1. #hive config  
  2. export HIVE_HOME=/apps/hive  
  3. export PATH=$HIVE_HOME/bin:$PATH  

执行source命令,使Hive环境变量生效。

  1. source ~/.bashrc  

4、由于Hive对元数据的存储,需要连接mysql。所以需要拷贝/apps/toolbox下的mysql-connector-java-5.1.26-bin.jar到hive的lib目录下。

  1. cp /apps/toolbox/mysql-connector-java-5.1.26-bin.jar /apps/hive/lib/  

5、切换到/apps/hive/conf目录下,创建hive-site.xml文件

  1. cd /apps/hive/conf  
  1. touch hive-site.xml  

使用vim打开hive-site.xml文件,并将下列配置项,添加到hive-site.xml文件中

  1. <configuration>  
  2.     <property>  
  3.         <name>javax.jdo.option.ConnectionURL</name>  
  4.         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=latin1</value>  
  5.     </property>  
  6.     <property>  
  7.         <name>javax.jdo.option.ConnectionDriverName</name>  
  8.         <value>com.mysql.jdbc.Driver</value>  
  9.     </property>  
  10.     <property>  
  11.         <name>javax.jdo.option.ConnectionUserName</name>  
  12.         <value>root</value>  
  13.     </property>  
  14.     <property>  
  15.         <name>javax.jdo.option.ConnectionPassword</name>  
  16.         <value>strongs</value>  
  17.     </property>  
  18. </configuration>  

由于Hive的元数据会存储在Mysql数据库中,所以需要在Hive的配置文件中,指定mysql的相关信息

javax.jdo.option.ConnectionURL:数据库链接字符串

javax.jdo.option.ConnectionDriverName:连接数据库的驱动包

javax.jdo.option.ConnectionUserName:数据库用户名

javax.jdo.option.ConnectionPassword:连接数据库的密码

6、下面需要告诉hive,Hadoop的环境配置。所以我们需要修改hive-env.sh。首先我们需要将hive-env.sh.template,重命名

  1. mv /apps/hive/conf/hive-env.sh.template  /apps/hive/conf/hive-env.sh  

使用vim打开hive-env.sh,并追加hadoop的路径,以及Hive配置文件的路径。

  1. # Set HADOOP_HOME to point to a specific hadoop install directory  
  2. # HADOOP_HOME=${bin}/../../hadoop  
  3. HADOOP_HOME=/apps/hadoop  
  4. # Hive Configuration Directory can be controlled by:  
  5. # export HIVE_CONF_DIR=  
  6. export HIVE_CONF_DIR=/apps/hive/conf  

7、下一步,就是在Mysql中,创建用于存储元数据的数据库。首先,来查看一下 Mysql服务是否已经启动

  1. sudo service mysql status  

通过上图,可以看出,Mysql已正常运行,如果未正常运行,则需要执行启动代码

  1. sudo service mysql start  

如果未安装Mysql则需要执行。目前我们的环境都已安装mysql,所以无需执行此步。

  1. sudo apt-get install mysql-server  

8、进入Mysql,输入命令

  1. mysql -u root -p  

此时会提示输入密码,进入mysql。此处密码为strongs

创建名为hive的数据库,编码格式为latin1编码,用于存储元数据

  1. create database hive CHARACTER SET latin1;  

使用命令,查看数据库是否创建成功

  1. show databases;  

下面,输入exit退出Mysql连接

  1. exit  

9、输入jps,查看Hadoop相关进程是否已经启动。

如果Hadoop未启动,则首先启动hadoop

  1. /apps/hadoop/sbin/start-all.sh  

如果hadoop已启动,则直接输入hive命令,启动Hive命令行

  1. hive  

输入HQL语句,测试Hive是否可以正常使用。

  1. show databases;  

至此Hive安装完毕。

hadoop入门第七步---hive部署安装(apache-hive-1.1.0)

以下操作在hdpsrc3 节点上操作 一,下载安装包 1,下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz ...
  • An342647823
  • An342647823
  • 2015年05月27日 16:22
  • 64419

hive2.1.1安装部署

转:http://blog.csdn.net/zhongguozhichuang/article/details/52702476 一、Hive 运行模式 与 Hadoop 类似,Hive 也...
  • u014695188
  • u014695188
  • 2017年01月22日 15:30
  • 6561

hive2.1.1 部署安装

hive 安装教程 版本 2.1.1,本教程以mysql为元数据存储一、下载Hive下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/二、my...
  • u013310025
  • u013310025
  • 2017年04月20日 22:57
  • 3465

CDH550@hive安装部署

  • 2017年11月14日 09:34
  • 89KB
  • 下载

hive2.1.1安装部署

转: http://blog.csdn.net/reesun/article/details/8556078 http://blog.csdn.net/zhongguozhichuang/art...
  • jacklin929
  • jacklin929
  • 2017年10月25日 22:34
  • 127

Hadoop入门进阶课程8--Hive介绍和安装部署

该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses/237 【注】该系列...
  • u013337889
  • u013337889
  • 2015年07月28日 16:31
  • 322

hadoop集群配置之hive1.2.0安装部署(远程mysql)

http://my.oschina.net/shyloveliyi/blog/418796   hadoop的版本是2.6.0 根据hive的源数据不同分为三种模式     1、内嵌模式,...
  • u013571243
  • u013571243
  • 2016年04月13日 12:13
  • 636

Hive 的安装部署和测试

Hive的安装Hive安装需求 根据hive安装的需求: hive1.2需求1.7+的jdk版本 hive0.14-1.1 需求1.6+的jdk版本 (preferred)hadoop2.0+...
  • huoyuyan
  • huoyuyan
  • 2016年03月02日 12:20
  • 501

hive2.1.1安装部署

转自:http://www.cnblogs.com/hmy-blog/p/6506417.html 一、Hive 运行模式   与 Hadoop 类似,Hive 也有 3 种运行模式: ...
  • laokaizzz
  • laokaizzz
  • 2017年10月26日 09:33
  • 75

Hbase0.98版本的安装部署配置管理(Hadoop2.3、Hbase0.98、Hive0.13整合)

简介:HStore存储是HBase存储的核心了,其中由两部分组成,一部分是MemStore,一部分是StoreFiles。MemStore是Sorted Memory Buffer,用户写入的数据首先...
  • mchdba
  • mchdba
  • 2015年01月13日 17:12
  • 3629
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hive安装部署
举报原因:
原因补充:

(最多只允许输入30个字)