Hadoop2.7.3下Mysql8.0下Hive2.3.8的安装

hive安装前提：
1.基于hadoop2.7的完全分布式集群搭建完成hadoop2.7集群搭建
2.MySQL8.0安装完成 安装centos7上MySQL8.0

Hive2.3.8的安装

下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/

下滑找到hive点击进去

点击hive2.3.9（hive2.3.9和hive2.3.8差别不大）

下载画红线的也就是bin.tar.gz后缀的

hive解压安装

下载完成后通过xftp传到虚拟机上（基操不在赘述）

 tar -zxvf  /usr/local/jar/apache-hive-2.3.8-bin.tar.gz  -C  /usr/local/soft/

注意：解压时要加上 -C 不然会报错
解压完成mv apache-hive-2.3.8-bin hive-2.3.8

配置环境变量

vi /etc/profile

添加画圈内容

export HIVE_HOME=/usr/local/soft/hive-2.3.8
export PATH=.:$PATH:$HIVE_HOME/bin:$PATH

按Esc后：wq保存
然后再source一下

source /etc/profile  #使配置文件生效

配置hive

在集群上建立目录，并赋予权限（前提hadoop集群启动完成）

hdfs dfs -mkdir -p  /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -mkdir -p /tmp/hive
hdfs dfs -chmod -R 777 /tmp/hive

在本地建立tmp目录保存临时数据

在/usr/local/soft/hive-2.3.8目录下，建立tmp文件夹

mkdir /usr/local/soft/hive-2.3.8/tmp
chmod -R 777 /usr/local/soft/hive-2.3.8/tmp/

修改配置文件

进入hive根目录下的conf文件夹

cd /usr/local/soft/hive-2.3.8/conf
ll   #查看

初次解压后是没有hive-site.xml和hive-env.sh的（我的为什么有？废话我都配置完了你说有没有…）
有hive-default.xml.template和hive-env.sh.template 两个模板文件，我们复制成新的文件并进行修改

cp hive-default.xml.template hive-site.xml
cp hive-env.sh.template hive-env.sh

然后我是通过xftp把hive-site.xml和hive-env.sh拖到Windows上用记事本修改的，然后再拖回去（记事本可以查找比较方便）（当然如果你不嫌麻烦也可以直接在虚拟机上用vim hive-site.xml vim hive-env.sh进行修改）

hive-site.xml配置修改

1.修改用户名，将文件中，所有，${system:user.name} 替换为 root

2.修改临时目录，将文件中，所有，${system:java.io.tmpdir} 替换为 /usr/local/soft/hive-2.3.8/tmp

3.修改其他

<property><!--数据库连接地址，使用MySQL存储元数据信息-->
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
  <property><!--数据库驱动-->
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property><!--数据库用户名-->
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
<property><!--密码-->
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>
  <property><!--HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。-->
    <name>hive.exec.local.scratchdir</name>
    <value>/hive/tmp</value>
  </property>
  <property><!--Hive 查询日志所在的目录，如果该值为空，将不创建查询日志。-->
    <name>hive.querylog.location</name>
    <value>/hive/logs</value>
  </property>
  <property><!--本地表的默认位置-->
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
  </property>
  <property>
    <name>hive.metastore.uris</name><!--Hive连接到该URI请求远程元存储的元数据-->
    <value>thrift://master:9083</value>
  </property>
  <property><!--关闭本地模式，此项不存在，需要自己添加-->
     <name>hive.metastore.local</name>
     <value>false</value>
  </property>
  <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/hive/logs</value>
  </property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/hive/tmp/${hive.session.id}_resources</value>
  </property>

修改配置文件hive-config.sh

[root@master hive-2.3.8]# vi bin/hive-config.sh
#添加以下内容
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.3
export HIVE_HOME=/usr/local/soft/hive-2.3.8

将jdbc的驱动放入hive根目录下的lib文件夹中

驱动下载：https://dev.mysql.com/downloads/connector/j/

选择Platfrom Independent后
任意下载一个，进行解压
解压后的文件的mysql-connector-java-8.0.26.jar，放入hive根目录下的lib文件夹中

hive-env.sh配置修改

vim hive-env.sh
#加入下面内容
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.3
export HIVE_HOME=/usr/local/soft/hive-2.3.8
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib

对Hive进行初始化并启动Hive

先进入hive的bin目录下

cd /usr/local/soft/hive-2.3.8/bin

然后输入

schematool -initSchema -dbType mysql

[root@master bin]# schematool -initSchema -dbType mysql
#出现以下信息代表初始化成功
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/soft/hive-2.3.8/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/soft/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:	 jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true
Metastore Connection Driver :	 com.mysql.cj.jdbc.Driver
Metastore connection User:	 root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
.........
#出现上述信息并且没有中断报错则初始化成功，如果报错（原因1可能你的hive-site.xml配置的有问题；原因2出现什么拒绝链接类的错误就是你的hadoop未启动，或者启动不完全）
#重新打开一个master进入hive的bin目录启动hive服务端
[root@master bin]# hive --service metastore
#启动Hive客户端
[root@master bin]# hive
#输入show tables;显示以下信息，说明Hive已经启动
hive> show tables;
OK
Time taken: 1.594 seconds