2. Hive的安装和配置

Hive的安装与配置

1. Hive 官网地址 http://hive.apache.org/
2. 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3. 下载地址 http://archive.apache.org/dist/hive/

1. Hive 安装及配置

#把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下

#解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面
tar  -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

#修改 apache-hive-1.2.1-bin 的名称为 hive
mv apache-hive-1.2.1-bin/ hive

#修改/opt/module/hive/conf 目录下的 hive-env.sh.template 名称为 hive-env.sh
mv hive-env.sh.template hive-env.sh

#配置 hive-env.sh 文件
## 配置 HADOOP_HOME 路径
export HADOOP_HOME=/opt/module/hadoop-2.7.2
## 配置 HIVE_CONF_DIR 路径
export HIVE_CONF_DIR=/opt/module/hive/conf

#必须启动 hdfs 和 yarn
sbin/start-dfs.sh
sbin/start-yarn.sh

#在 HDFS 上创建/tmp 和/user/hive/warehouse 两个目录并修改他们的同组权限可写(可不操作，系统会自动创建)
#此目录即是default数据库储存的位置

2. Hive 基本操作

#启动 hive
bin/hive
#查看数据库
show databases;

#此时只有一个default数据库，打开默认数据库default
use default;
#显示 default 数据库中的表
show tables;
#创建一张表
create table student(id int, name string);
#显示数据库中有几张表
show tables;
#查看表的结构
desc student;
#向表中插入数据
insert into student values(1,"mm");
#查询表中数据
select * from student;
#退出 hive
quit;

3. 将本地文件导入 Hive

将本地/opt/module/data/student.txt 这个目录下的数据导入到 hive 的 student(id int, name string)表中。

3.1 数据准备

#在/opt/module/data 这个目录下准备数据
##在/opt/module/目录下创建 data
mkdir data
##在/opt/module/datas/目录下创建 student.txt 文件并添加数据
touch student.txt
vim student.txt
#注意以 tab 键间隔
1	dd
2	dm

3.2 Hive 实际操作

#启动 hive
bin/hive
#显示数据库
show databases;
#使用 default 数据库
use default;
#显示 default 数据库中的表
show tables;
#删除已创建的 student 表
drop table student;
# 创建 student 表, 并声明文件分隔符’\t’
create table student(id int,name string) row format delimited fields terminated by "\t";

#加载/opt/module/data/student.txt 文件到 student 数据库表中。
load data local inpath '/opt/module/data/student.txt' into table student;

#Hive 查询结果
select * from student;
结果：
OK
1	dd
2	dm

3.3 遇到的问题

再打开一个客户端窗口启动 hive，会产生 java.sql.SQLException 异常。

原因是，Metastore 默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore;

4. 安装Mysql数据库

#查看 mysql 是否安装，如果安装了，卸载 mysql
rpm -qa|grep mysql

#卸载(如果其它软件包依赖于您要卸载的软件包，卸载时则会产生错误信息,如果想去卸载加上 --nodeps)
rpm  -e  --nodeps mysql-libs-5.1.73-7.el6.x86_64

#解压 mysql-libs.zip 文件到当前目录
unzip mysql-libs.zip

##安装 mysql 服务端
rpm  -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

#查看产生的随机密码
cat /root/.mysql_secret
查看结果：OEXaQuS8IWkG19Xs

#查看 mysql 状态
service mysql status

#启动 mysql
service mysql start

#安装 MySql  客户端
rpm  -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
#链接 mysql
mysql -uroot -pOEXaQuS8IWkG19Xs

#修改密码
set password = password('000000');
#退出 mysql
exit;

#MySql中user表中主机配置
#配置只要是 root 用户+密码，在任何主机上都能登录 MySQL 数据库。
#进入 mysql
mysql -uroot -p000000
#显示数据库
show databases;
#使用 mysql 数据库
use mysql;
#展示 mysql 数据库中的所有表
show tables;
#展示 user 表的结构
desc user;
#查询user表
select User, Host, Password from user;

#修改 user 表，把 Host 表内容修改为%
update user set host='%' where host='localhost';

#删除 root 用户的其他 host
delete from user where Host='hadoop';
delete from user where Host='127.0.0.1';
delete from user where Host='::1';

#刷新
flush privileges;
#退出
quit;

5. Hive 元数据配置到 MySql

#驱动拷贝
##在/opt/software/mysql-libs 目录下解压 mysql-connector-java-5.1.27.tar.gz 驱动包
tar  -zxvf mysql-connector-java-5.1.27.tar.gz

##拷贝 mysql-connector-java-5.1.27-bin.jar 到/opt/module/hive/lib/
cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib

#配置 Metastore 到 到 MySql
##在/opt/module/hive/conf 目录下创建一个 hive-site.xml
touch hive-site.xml
vi hive-site.xml

根据官方文档配置参数，拷贝数据到 hive-site.xml 文件中
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop:3306/metastore?createDatabaseIfNotExist=true</value>
		<description>JDBC  connect  string  for  a  JDBC metastore</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver  class  name  for  a  JDBC
		metastore</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>username  to  use  against  metastore database</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>000000</value>
		<description>password  to  use  against  metastore database</description>
	</property>

	<!-- 修改 default 数据仓库原始位置 -->
	<property>
	    <name>hive.metastore.warehouse.dir</name>
	    <value>/user/hive/warehouse</value>
	    <description>location of default database for the warehouse</description>
    </property>
</configuration>

配置完毕后，如果启动 hive 异常，可以重新启动虚拟机。（重启后，别忘了启动 hadoop 集群）。

5.1 多窗口启动 Hive

#先启动 MySQL
mysql -uroot -p000000
#查看有几个数据库，此时查询 metastore 数据库
show databases;

#再次打开多个窗口，分别启动 hive
bin/hive

#启动 hive 后，回到 MySQL 窗口查看数据库，显示增加了 metastore 数据库
#到这里我们就配置元数据到Mysql了。

通过Navicat连接数据库后查询metastore数据库中的表如下：

☆