centos7中hive3.1.0安装和部署

参考: https://blog.csdn.net/a123demi/article/details/72742279

一 前期准备

1. hadoop集群

版本: 2.8.4

安装: https://blog.csdn.net/sjhuangx/article/details/79783051

2 mysql

版本: 5.7.21

安装: https://blog.csdn.net/sjhuangx/article/details/79689185

3 mysql驱动

版本: 5.1.46

4 hive安装包

hive-3.1.0

二 hive安装

1 解压和配置

# 解压
tar -zxvf apache-hive-3.1.0-bin.tar.gz 

# 配置
sudo vim /etc/profile

export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export PATH=$HIVE_HOME/bin:$PATH

2 创建hdfs目录并赋予权限

hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs dfs -chmod g+w /usr/hive/tmp
hdfs dfs -chmod g+w /usr/hive/log

3 hive-env.sh配置

#复制创建hive-env.sh
cd /home/hadoop/apache-hive-3.1.0-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

# 在hive中添加如下内容
export JAVA_HOME=/opt/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.8.4
export HIVE_HOME=/home/hadoop/apache-hive-3.1.0-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/*

4 hive-site.xml配置:

#生成hive-site.xml文件
cp -r hive-default.xml.template hive-site.xml 
#配置
vi hive-site.xml

# 在文件开头添加如下内容:
<configuration>
  <property>
        <name>system:java.io.tmpdir</name>
        <value>/tmp/hive/java</value>
  </property>
  <property>
        <name>system:user.name</name>
        <value>${user.name}</value>
  </property>
</configuration>

# 修改以下属性的value值

<configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->
 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.32.128:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>
</configuration>

5 使用schemaTool初始化mysql数据库

schematool -dbType mysql -initSchema

三 启动hive测试

# hive