Hive安装

Hive安装

1. 下载hive安装包
   清华镜像安装地址
2. 解压

tar -zxvf 安装包路径 -C 解压路径

3. 修改配置文件

cd 2的解压路径
cp hive-env.sh-template hive-env.sh
vim hive-env.sh
#添加
export HADOOP_HOME=/home/dong/hadoop/hadoop
export HIVE_CONF_DIR=/home/dong/hadoop/hive/conf

4. 添加环境变量

export HIVE_HOME=/home/dong/hadoop/hive
export PATH=$PATH:$HIVE_HOME/bin

5. 启动hive

至此，hive可以算已经安装完成。
hive可以看成是一个客户端，使用时无需像hadoop一样需要先启动服务
直接在shell下 hive即可

6. 注意事项

使用上述安装方式是以derby为元数据存储方式，启动后，会在启动目录下生成两个文件夹，derby.log和metastore_db
该方式一次只能开启一个窗口

将mysql作为hive 的元数据存储位置

1. 安装mysql
2. 安装mysql驱动
   1.到该地址下载连接mysql的java包
   2. 将上述java包放至hive/lib目录下
   sudo dpkg -i --instdir=hive/lib路径 安装包路径
   3. 此时mysql java文件在 hive/lib/usr/share/java下，将其移动到hive/lib下即可
3. 增加配置文件

cd $HIVE_HOME/conf
vim hive-site.xml

设置hive-site.xml内容为，需要自行配置mysql账号密码
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value>
</property>


<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>rt123@RT456</value>
</property>
</configuration>

如果hive启动很久，则说明mysql的配置有问题

4. 初始化

schematool -dbType mysql -initSchema 

如果show tables; 报错 
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
则说明初始化未成功

5. 成功标志
   mysql库中多个一个metastore的库，库中有很多表，如PARTITIONxxxx、DBS、TBLS等，并且hive窗口show tables;返回ok
   show tables正常返回空，因为元数据存储在mysql中
6. 元数据表介绍
   hive的元数据此时存在了mysql的metastore库下
   DBS表存放的是hive数据库与hdfs之间的映射关系
   TBLS表存放的是hive表的信息