hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
安装前的准备
1、启动hive之前需要启动hadoop 、zoopkeeper 和mysql,所以需要先行安装这些软件。本文的环境建立,可参考(1)hadoop伪分布式安装、配置,详解。(2)linux上mysql的安装与配置,超全
这里再简单介绍下zookeeper的安装
本文下载的是版本是zookeeper-3.4.5-cdh5.14.2,可用下载链接,cdh版本的相关软件都可到此处下载:http://archive.cloudera.com/cdh5/cdh/5/包名
解压文件到自己定的文件夹下
tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/
设置hbase文件夹,方便在hbase托管状态下建立物理文件
mkdir /home/hadoop/hbase
到目录下修改配置
#到达对应文件夹下
cd /opt/install/zookeeper-3.4.5-cdh5.14.2/
#复制配置文件
cp zoo_sample.cfg zoo.cfg
#修改
vi zoo.cfg
修改值为建立的文件夹
dataDir=/home/hadoop/hbase
添加环境变量并应用配置
# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/install/zookeeper-3.4.5-cdh5.14.2/
export PATH=$PATH:$ZOOKEEPER_HOME/bin
2、为安全起见,大家可以新建一个linux普通用户和mysql用户供调用hive,我这为演示方便直接就采用root用户连接的方式了。
hive下载
本文下载的是版本是hive-1.1.0-cdh5.14.2.tar.gz,可用下载链接,其它的cdh版本的相关软件可到此选择下载:http://archive.cloudera.com/cdh5/cdh/5/。可用wget下载,可从浏览器下载后通过ftp方式送到虚拟机中,在此不再赘述。
将hive包解压到自己定的文件夹,我这里是/opt/install
tar -zxf hive-1.1.0-cdh5.14.2.tar.gz -C /opt/install/
在/etc/profile下配置其环境变量,注意不要忘了应用配置(source /etc/profile)
#HIVE_HOME
export HIVE_HOME=/opt/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin
hive的配置
转到hive对应的文件夹下有conf文件夹下,我们的主要配置都在此处
cd /opt/install/hive-1.1.0-cdh5.14.2/conf/
hive-site.xml------ hive-env.xml------hive.log4j-----
新建hive-site.xml文件,编辑如下
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>