目录
一. 【实验准备】
完成《Hadoop安装部署》实验,安装和启动hadoop集群
1.资源文件夹
资源文件夹位于/cgsrc
,该文件夹存放了所有实验中需要用到的安装包。
文件夹中的内容是只读的,需要使用时请挂载到docker容器上。
在《hadoop安装部署实验》中,我们将该资源文件夹挂载到了每个docker容器的/cgsrc
目录上
二. 安装Hive及配置环境
1.Hive安装
在桌面右键打开新的终端,执行如下命令进入master节点:
docker exec -it --privileged master /bin/bash
从 /cgsrc
中将 Hive 的安装文件复制到 /usr/loacl
目录下
cp /cgsrc/apache-hive-1.2.1-bin.tar.gz /usr/local/
执行如下命令解压:
cd /usr/local
tar -zxvf apache-hive-1.2.1-bin.tar.gz
rm -f apache-hive-1.2.1-bin.tar.gz
将解压得到的apache-hive-1.2.1-bin
文件夹重命名为 hive
mv apache-hive-1.2.1-bin/ hive
2.配置环境变量
使用vim编辑器打开 ~/.bashrc
文件:
vim ~/.bashrc
然后在该文件最末加入下面一行内容:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
保存后执行如下命令使配置生效:
source ~/.bashrc
三. 启动Hive执行如下命令启动hive:
hive
若得到如下输出则安装成功:
至此Hive安装成功。
输入quit;
可以退出Hive Console
四.启动Hive
在master节点上输入如下命令启动 Hive服务 :
hive --service hiveserver2 &
接着在master节点上输入如下命令进入beeline终端并连接Hive:
beeline
!connect jdbc:hive2://localhost:10000
输入账号/密码:root/root
1.工作目录
本实验的工作目录为~/course/hive/hive_op
,在桌面右键打开新的终端并使用以下命令创建和初始化工作目录:
$ mkdir -p ~/course/hive/hive_op
$ cd ~/course/hive/hive_op
2.准备数据
在桌面新打开的终端上,在本实验的工作目录~/course/hive/hive_op
下创建student.txt
文件,并写入如下数据:
1001,zhangsan,F,19,XG
1002,wangwu,F,20,XG
1003,liwei,M,19,WL
1004,liulan,F,20,WL
1005,zhaozilin,M,18,GS
1006,huangfei,M,21,XG
1007,wuwei,F,20,GS
1008,yangfang,M,17,XG
1009,zhanwang,F,19,GS
1010,wanggui,F,20,WL
1011,lilei,M,16,JC
1012,liulei,F,20,JC
1013,zhaolin,M,18,WL
1014,huanghu,M,21,JC
1015,weiwei,F,21,WLW
使用如下命令进入master节点:
docker exec -it --privileged master bash
在master节点上,使用如下命令将student.txt
上传至hdfs的/hive/test
目录下:
hadoop fs -mkdir -p /hive/test
hadoop fs -put /course/hive/hive_op/student.txt /hive/test
五. DDL命令
1.数据库操作
1.创建简单数据库
CREATE DATABASE testdb1;
CREATE DATABASE IF NOT EXISTS testdb2;
创建数据库的同时,设置数据库的存储路径:
CREATE DATABASE testdb3 LOCATION '/user/mydb';
创建数据库的同时,给数据库添加注释(描述信息保存在元数据表DBS的DESC项中):
CREATE DATABASE testdb4 COMMENT 'This is a test database4';
2.查看数据库
SHOW DATABASES;
SHOW DATABASES LIKE "testdb*";
执行效果如下:
查看当前数据库:
select current_database();