1、系统中已经安装好了Hadoop-2.x集群环境(伪分布式也可以),我这里安装的是hadoop-2.7.3
hadoop安装参考:http://blog.csdn.net/u011563666/article/details/50170465
mysql用于存储hive元数据信息,目前hive支持的元数据库有derby、mssql、mysql、postgrace、oracle,我这里使用mysql作为其元数据库。
3、授予mysql远程登录访问权限
grant all on *.* to root@'%' identified by '123456';
flush privileges;
二、安装Hive2.3.2
1、下载apache-hive-2.3.2-bin.tar.gz
wget http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.3.2-bin.tar.gz
tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /part1 (解压在/part1目录下)
hive所有配置文件位于conf目录下
1)、修改hive-env.sh
export HADOOP_HOME=/part1/hadoop-2.7.3
export HIVE_CONF_DIR=/part1/apache-hive-2.3.2-bin/conf
2)、修改hive-site.xml
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
<!-- 以下是配置 MySQL作为hive元数据存储库 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hmetastore?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
创建hive tmp文件目录:mkdir /part1/apache-hive-2.3.2-bin/tmp
并修改hive-site.xml:
把该文件中所有的{system:java.io.tmpdir} 改为 /part1/apache-hive-2.3.2-bin/tmp
把该文件中所有的{system:user.name} 改为 {user.name}
3)、修改hive-exec-log4j2.properties中日志存储路径
property.hive.log.dir = /part1/apache-hive-2.3.2-bin/logs
4)、修改hive-log4j2.properties中日志存储路径
property.hive.log.dir = /part1/apache-hive-2.3.2-bin/logs
hdfs dfs -mkdir -p /user/hive/{warehouse,tmp,log}
hdfs dfs -chmod -R 777 /user/hive/{warehouse,tmp,log}
root用户执行:vim /etc/profile
export HIVE_HOME=/part1/apache-hive-2.3.2-bin
export HIVE_CONF=/part1/apache-hive-2.3.2-bin/conf
export HCAT_HOME=/part1/apache-hive-2.3.2-bin/hcatalog
export PATH=$HIVE_HOME/bin:$PATH
使修改生效:source /etc/profile
6、下载mysql驱动,并将驱动拷贝到/part1/apache-hive-2.3.2-bin/lib目录下
下载驱动:wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.39/mysql-connector-java-5.1.39.jar
mv mysql-connector-java-5.1.39.jar /part1/apache-hive-2.3.2-bin/lib
schematool -dbType mysql -initSchema
启动方法有两种:
1)、./bin hive --service hiveserver2 &
2)、./bin hiveserver2 &
hiveserver默认端口10000。
修改默认端口,更改hive-site.xml的配置属性:hive.server2.thrift.port
以上整个Hive2.3.2安装完成,可以用hive shell或者beeline进行操作测试。
说明有关hive元数据的详细配置及介绍参考: