安装hive数据仓库

最新推荐文章于 2023-06-27 17:31:25 发布

原创

最新推荐文章于 2023-06-27 17:31:25 发布 · 313 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了如何安装Hive数据仓库，并将其元数据存储在MySQL中，以解决Derby数据库并发性问题。内容包括安装MySQL，配置Hive环境变量，修改配置文件，拷贝MySQL驱动以及替换hadoop的jline.jar。

一.安装mysql

hive的源数据默认是存在Derby数据里，由于Derby数据库不支持并发，也就是只支持单线程操作，当有一个用户在对Hive进行操作时，其他用户则无法操作，导致整体效率性能较低。所以把元数据存在mysql数据库里。

查看mysql的依赖：       rpm -qa | grep mysql
卸载：                 rpm -e --nodeps `rpm -qa | grep mysql`

yum install mysql -y
yum install mysql-server -y

service mysqld start
chkconfig mysqld on

进入mysql命令行，第一次不需要密码：

mysql

切换数据库：

use mysql;

设置密码：

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

删除多余的用户：

delete from user where Host != '%';

查看结果

select Host,User,Password from user;

Host	User	Password
%	root	6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9

表示密码及用户设置成功

flush privileges

export HIVE_HOME=/usr/local/soft/hive-1.2.1
export PATH=.:$PATH:$HIVE_HOME/bin

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml

修改 hive-env.sh，增加下列配置：

 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
 export HADOOP_HOME=/usr/local/soft/hadoop-2.6.0
 export HIVE_HOME=/usr/local/soft/hive-1.2.1