Hive环境搭建

目录

Hive安装

MySQL安装

配置Hive元数据库到MySQL

Hive安装

软件包 0积分免费下载：

hive环境安装所需软件包-Hive文档类资源-CSDN下载

 将软件包拖进虚拟机中

 将jar包解压到目录

 给目录文件夹名改为hive

 

 配置环境变量

输入命令：

vim /etc/profile

 令配置生效

source /etc/profile

 初始化元数据库

bin/schematool -dbType derby -initSchema

启动hadoop

启动hive

 

MySQL安装

解压安装包

tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

检查当前系统是否安装过 MySQL检查当前系统是否安装过 MySQL检查当前系统是否安装过 MySQL

rpm -qa|grep mariadb

 如果如下所示存在则将其删除

 通过如下命令卸载

sudo rpm -e --nodeps mariadb-libs

 

 再次使用命令检查删除成功

 执行包的安装

从上往下执行如下命令安装

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

 若遇到如下错误

我们可以添加参数--force --nodeps，先强制安装 

sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm --force --nodeps

或者按照对应依赖来解决

yum install -y libaio

查看mysql配置信息

cat /etc/my.cnf

初始化mysql数据库

sudo mysqld --initialize --user=mysql

 查看临时生成的root密码

sudo cat /var/log/mysqld.log

 启动mysql服务

 sudo systemctl start mysqld

登录 MySQL 数据库

[root@master mysql]$ mysql -uroot -p
Enter password: 输入临时生成的密码

设置新的密码

set password = password("新密码");

修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接 

 查看user表

 查看用户表中连接权限

 更新表中连接权限信息

update mysql.user set host='%' where user='root';

更新好之后执行刷新操作

flush privileges;

 此时root的权限变为任意主机连接

在Navicat 中测试连接

 

配置Hive元数据库到MySQL

将MySQL驱动拷贝到hive的lib目录下

 查看拷贝成功

 在/hive/conf目录下新建配置文件hive-site.xml

vim hive-site.xml

添加如下配置信息

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- jdbc 连接的 URL -->
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://master:3306/metastore?useSSL=false</value>
</property>
 <!-- jdbc 连接的 Driver-->
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 </property>
 <!-- jdbc 连接的 password -->
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>p@ssw0rd</value>
</property>
 <!-- Hive 元数据存储版本的验证 -->
 <property>
 <name>hive.metastore.schema.verification</name>
 <value>false</value>
</property>
 <!--元数据存储授权-->
 <property>
 <name>hive.metastore.event.db.notification.api.auth</name>
 <value>false</value>
 </property>
 <!-- Hive 默认在 HDFS 的工作目录 -->
 <property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/user/hive/warehouse</value>
 </property>
</configuration>

简化版hive配置文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- jdbc 连接的 URL -->
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://master:3306/metastore?useSSL=false</value>
</property>
 <!-- jdbc 连接的 Driver-->
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
 </property>
 <!-- jdbc 连接的 password -->
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>p@ssw0rd</value>
</property>
</configuration>

 

进入mysql中新建hive元数据库

create database metastore;

初始化hive元数据库

schematool -initSchema -dbType mysql -verbose

若初始化出现如下错误： 

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V 

 则说明执行初始化命令时hadoop和hive的两个guava.jar版本不一致

第一步：删除hive的lib目录里的guava-19.0.jar 

rm -fr guava-19.0.jar

第二步：把hadoop/share/hadoop/common/lib/里的guava-27.0-jre.jar复制到hive里

cp -r guava-27.0-jre.jar /opt/module/hive-3.1.2/lib/

然后再初始化