Hive详解与安装

Hive的优点

1) 简单易用
2) 弹性
3) 统一的元数据管理
元数据存放在 metadata mysql

Hive体系架构

JobTracker和TaskTracker对应MR2的是ResourceManager和NodeManger。
MetaStore：存储元数据信息

Hive环境搭建

hive下载：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz
放到hadoop用户的app文件夹内
tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app

1) 添加HIVE_HOME到系统环境变量

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH   

2) Hive配置修改

hive-env.sh
修改hadoop文件路径：
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

hive-site.xml   统一元数据管理（没有这个文件需要创建）
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/ruozedata_basic02?createDatabaseIfNotExist=true</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>
</configuration>

3) 拷贝mysql驱动包到$HIVE_HOME/lib

The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH.
Please check your CLASSPATH specification,
and the name of the driver.

4) 出现的问题

创建表失败

FAILED: Execution Error,
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
MetaException(message:For direct MetaStore DB
connections, we don’t support retries at the client
level.)

思路：找日志
日志在哪里： $HIVE_HOME/conf/hive-log4j.properties.template

hive.log.dir=${java.io.tmpdir}/${user.name}   --》${java.io.tmpdir}指的是/tmp/目录
不建议放在/tmp/目录下，可以修改路径
hive.log.file=hive.log

ERROR [main]: Datastore.Schema (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) :
Specified key was too long; max key length is 767 bytes
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

字符集问题：

alter database ruozedata_basic02 character set latin1;

另：如果是源码编译，Hive的maven编译命令（可以这样用，必须标明hadoop大版本号） mvn clean package -Phadoop-2 -Pdist -DskipTests -Dtar