同前几篇文章一样,这里不打算介绍任何关于HIVE的文章。
HIVE配置
做一只勤劳地小蜜蜂,幸福才能揽入怀中——黄渤。
为了让这只勤劳地小蜜蜂飞翔起来,我们需要
- 搭建Hadoop环境.
-
下载并解压hive到/home/hadoop下。
tar -zxf /mnt/hgfs/PublicData/hive-0.6.0-bin.tar.gz -C /tmp
cp –R /tmp/hive-0.6.0-bin ~/hive-0.6.0
-
配置环境变量及HIVE。
-
修改~/.bashrc,最末尾加入(具体值根据实际情况确定):
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export HIVE_HOME=/home/hadoop/hive-0.6.0
export PATH=$HIVE_HOME/bin/:$PATH
-
修改$HIVE_HOME/bin/hive-config.env,加入(或修改):
export HIVE_LIB=$HIVE_HOME/lib
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar
-
在$HIVE_HOME/conf下新建hive-site.xml,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.100.1.213:3306/hive_test?createDatabaseIfNotExist=true;characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/home/hadoop/hadoop-data/data/hive</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/home/hadoop/hadoop-data/temp</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
说明:细心的你想必已经看出来了:上面配置了HIVE的数据存放目录和元数据库( MYSQL)的连接信息。Mysql安装略,我的实在win上面呢。
-
在HDFS中创建HIVE的数据目录,并且设置权限为777。
~/hadoop-0.20.2/bin/hadoop fs -mkdir ~/hadoop-data/data/hive
~/hadoop-0.20.2/bin/hadoop fs -chmod -R 777 ~/hadoop-data/data/hive
- 复制mysql驱动jar到$HIVE_HOME/lib下。
-
重启linux,启动Hadoop,启动HIVE:
hive
如果你没有看到异常,并且终端提示:
开启你奇妙的HIVE之旅吧- -
-