（十一）Hive数据仓库的使用

目录

一、目的及要求：

目的：

要求：

二、环境要求：

所需环境：

集群规划：

三、详细步骤：

步骤一：启动

步骤二：数据仓库的使用

1、查看表信息

2、hive常用命令

3、Hive的数据模型_内部表；

4、Hive的数据模型_分区表

5、Hive的数据模型_外部表

6、Hive的数据模型_桶表

7、Hive的数据模型_视图

四、总结

一、目的及要求：

目的：

        掌握数据仓库Hive的使用

要求：

        1.掌握数据仓库Hive的使用；

        2.能够正常操作数据库、表、数据。

二、环境要求：

所需环境：

1. 五台独立PC式虚拟机；
2. 主机之间有有效的网络连接；
3. 每台主机内存2G以上，磁盘剩余空间500M以上；
4. 所有主机上安装CentOS7-64位操作系统；
5. 已完成Hadoop平台的搭建；
6. 已完成MySQL数据库平台的搭建；
7. 已完成Hive数据仓库的安装。

集群规划：

主机名	IP地址	服务描述
Cluster-01	192.168.10.111	MC管理节点
Cluster-02	192.168.10.112	MC数据服务节点
Cluster-03	192.168.10.113	MC数据服务节点
Cluster-04	192.168.10.113	MC SQL服务节点
Cluster-05	192.168.10.114	MC SQL服务节点

 

 

 

 

 

三、详细步骤：

步骤一：启动

Hadoop、Hbase、Hive、Sqoop使用使用专门用于集群的用户admin进行。

启动HBase集群之前首先确保Zookeeper集群已被开启状态。 （实验5台）

Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。

启动HBase集群之前首先确保Hadoop集群已被开启状态。 （实验5台）

Hadoop只需要在主节点执行启动命令。

1、集群中所有主机上使用命令“zkServer.sh start”启动Zookeeper服务的脚本，使用命令“zkServer.sh status”查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常；

2、在主节点使用“$start-all.sh”，备用主节点使用“$yarn-daemon.sh start resourcemanager”命令,启动Hadoop集群，在主节点查看Java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”的两个进程，则表示Hadoop集群的数据节点启动成功；