HIVE安装和配置
前提
Linux版本:CentOS6,JDK:1.6。
已成功安装好Hadoop。Hadoop版本:0.20.2。以下只要在一个节点做,可以独立于Hadoop集群,此处我选择了之前配置的server端。
已配置好JDK,HADOOP等相关配置。
元数据库采用mysql,mysql中已建立hive用户,并授权。
一、下载解压HIVE
链接地址:
http://apache.dataguru.cn/hive/hive-0.8.1/hive-0.8.1.tar.gz
解压:
tar -zxvf hive-0.8.1.tar.gz
拷贝到hadoop目录下中:
cp -r hive-0.8.1 /usr/hadoop/
chown -R hadoop:hadoop hive-0.8.1
二、配置相关文件
①配置~/.bash_profile,(也可以在/etc/profile中配置,此处配置针对个人一些)
HIVE_HOME=/usr/hadoop/hive-0.8.1
PIG_HOME=/usr/hadoop/pig-0.9.2
PATH=$PATH:$PIG_HOME/bin:$HIVE_HOME/bin:$HOME/bin
HADOOP_HOME=/usr/hadoopexport PATH
export HADOOP_HOME
export HIVE_HOME
export PIG_HOME
source ~/.bash_profile使得路径立刻生效
②配置HIVE中相关文件
一、hive-site.xml相关文件
拷贝配置文件:
cp /usr/hadoop/hive-0.8.1/conf/hive-default.xml.template /usr/hadoop/hive-0.8.1/conf/hive-site.xml
文件用作于个性化配置。
配置hive-site.xml(使用vi的/warehouse找到warehouse要做的相关配置)
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hadoop/hive-0.8.1/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
二、配置hive-log4j.properties相关文件
拷贝文件:
cp hive-log4j.properties.template hive-log4j.properties
以下好像没有遇到(如果遇到报错再配置吧,我配置了反而报错了):
此处要设置其中的og4j.appender.EventCounter,这个是由于默认的类名设置错误了。
设置:log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter为:
log4j.appender.EventCounter=org.apache.hadoop.metrics.EventCounter
三、Mysql连接相关的配置
配置hive-site.xml指出mysql的访问jdbc:
1 <configuration> 2 <property> 3 <name>hive.metastore.local</name> 4 <value>true</value> 5 </property> 6 7 <property> 8 <name>javax.jdo.option.ConnectionURL</name> 9 <value>jdbc:mysql://192.168.100.253:3306/hivedb?createDatabaseIfNotExist=true</value> 10 </property> 11 12 <property> 13 <name>javax.jdo.option.ConnectionDriverName</name> 14 <value>com.mysql.jdbc.Driver</value> 15 </property> 16 17 <property> 18 <name>javax.jdo.option.ConnectionUserName</name> 19 <value>hive</value> 20 </property> 21 22 <property> 23 <name>javax.jdo.option.ConnectionPassword</name> 24 <value>hive</value> 25 </property>
顺着下来配置的意义:1.是否使用本地的存储元数据(此处选择使用本地模式)。2.jdbc连接地址3.连接类型4.连接用户5.该用户名下的密码
下载mysql-connector:
http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.0.8.zip
用于HIVE中连接Mysql数据库
解压出其中的jar文件,并把mysql-connector-java-x.x.x.jar复制到hive的lib目录下
四、启动HIVE
先行启动hadoop集群,再在192.168.100.253中执行hive.