Hive在hadoop集群中的搭建

以下流程均在hadoop集群启动下操作

以下dblater为用户，在root下建立的用户，拥有root的大部分权限

1. hive的安装部署（以hive3.1.3版本为例）

1）把apache-hive-3.1.3-bin.tar.gz上传到Linux的/opt/software目录下

2）解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下面

[dblaterlater@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz-C /opt/module/

3）修改apache-hive-3.1.3-bin.tar.gz的名称为hive

[dblaterlater@hadoop102 software]$ mv /opt/module/apache-hive-3.1.3-bin//opt/module/hive

4）修改/etc/profile.d/my_env.sh，添加环境变量

[dblaterlater@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

（1）添加内容

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

（2）source一下

[dblaterlater@hadoop102 hive]$ source/etc/profile.d/my_env.sh

5）初始化元数据库（默认是derby数据库）

[dblaterlater@hadoop102 hive]$ bin/schematool-dblaterlaterType derby -initSchema

2. hvie启动

1）启动Hive

[dblaterlater@hadoop102 hive]$ bin/hive

2）使用Hive

hive> show databases;
hive> show tables;
hive> create table stu(id int, namestring);
hive> insert into stuvalues(1,"aa");
hive>select * from stu;

3. mysql安装配置

1）如果是虚拟机服务器，按照如下步骤准备MySQL安装前环境

（1）卸载自带的mariadblaterlater以及如果之前安装过MySQL，需要全都卸载掉

①先查看是否安装过MySQL或者mariadblaterlater

[dblaterlater@hadoop102 software]$ rpm -qa | grep -i -Emysql\|mariadblaterlater
 
mariadblaterlater-libs-5.5.56-2.el7.x86_64
mysql-community-libs-5.7.16-1.el7.x86_64
mysql-community-client-5.7.16-1.el7.x86_64
mysql-community-common-5.7.16-1.el7.x86_64
mysql-community-libs-compat-5.7.16-1.el7.x86_64
mysql-community-server-5.7.16-1.el7.x86_64

②出现以上任何一个都需要卸载（之前安装mysql版本不同内容也可能不同）

用下面的命令进行卸载

[dblaterlater@hadoop102 software]$ rpm -qa | grep -i -Emysql\|mariadblaterlater | xargs -n1 sudo rpm -e --nodeps

（2）如果之前安装过MySQL需要清空原先的所有数据

①通过/etc/my.cnf查看MySQL数据的存储位置

[dblaterlater@hadoop102 software]$ sudo cat/etc/my.cnf
[mysqld]
datadir=/var/lib/mysql

②去往/var/lib/mysql以下得拿root权限

[dblaterlater@hadoop102 mysql]$ su - root
[root@hadoop102 ~]# cd /var/lib/mysql
[root@hadoop102 mysql]# rm -rf *  （注意敲击命令的位置）

2）如果是阿里云服务器，按照如下步骤准备MySQL安装前环境

说明：由于阿里云服务器安装的是Linux最小系统版，没有如下工具，所以需要安装。

（1）卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少

[dblaterlater@hadoop102 software]# sudo yumremove mysql-libs

（2）下载依赖并安装

[dblaterlater@hadoop102 software]# sudo yuminstall libaio
[dblaterlater@hadoop102 software]# sudo yum -yinstall autoconf

安装MySQL

1）上传MySQL安装包以及MySQL驱动jar包

mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

mysql-connector-java-5.1.37.jar