Hadoop集群之hive集成mysql作为元数据的方法及错误排解(hive-site.xml文件无法生效):
(1)安装hadoop,我的版本是hadoop-1.0.1;
(2)安装mysql服务器和客户端:mysql-server,mysql-client,我的版本分别是 MySQL-server-5.1.7-0.i386.rpm和MySQL-client-5.1.7-0.i386.rpm,具体安装方法请参考http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942497.html;
(3)安装hive,我的版本是hive-0.10.0;下载hive-0.10.0.tar.gz并将其上传到hadoop集群的/usr/目录下,然后执行命令:tar -xzf hive-0.10.0.tar.gz;然后将解压出来的文件命名为hive,可以通过mv来命名;
(4)配置hive:先在profile文件添加下面内容:
[root@Masterpc ~]# vim /etc/profile
#set hive path
export HIVE_HOME=/usr/hive
export PATH=$HIVE_HOME/bin:$PATH
export CLASSPATH=.:$CLASSPATH:$HIVE_HOME/lib
然后在/usr/hive/bin/hive-conf.sh 里面添加下面内容:
# hive-config.sh
export JAVA_HOME=/usr/java/jdk1.8.0_25
export HIVE_HOME=/usr/hive
export HADOOP_HOME=/usr/hadoop
然后改动/usr/hive/conf/hive-env.sh文件,修改如下:
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/usr/hadoop
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/hive/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/usr/hive/lib
(5)到此,hive的配置基本上完成,但是该模式是默认的模式,即metastore服务和hive服务运行在同一个jvm中,包含一个内嵌的本地derby数据库实例;此时启动hive,会在相应的目录下生成一个