Hodoop集群搭建(六)Hive的安装和配置及使用

一、Hive的安装和配置
1、实验目的及要求

1、完成Hive的安装与配置
2、Hive的相关服务能够正常运行
3、Hive控制台命令能够正常使用
4、表创建、数据查询等数据库操作能够正常运行
5、掌握数据仓库的使用
6、能正常操作数据库、表、数据

2、实验过程

任务一:Hive的安装与配置
一:Hive基本安装配置
1、上传Hive软件包“Hive-2.1.1.tar.gz到admin用户的家目录的setups目录下,然后进行解压
a.上传软件包到指定目录下
在这里插入图片描述
2.创建存放Hive相关的目录,进入该目录,创建Hive的本地零时文件目录“tmp”将软件包进行解压
在这里插入图片描述
3.配置Hive相关的环境变量,对配置文件进行修改,添加以下内容
在这里插入图片描述
4.使配置文件生效,并查看修改的环境变量是否修改成功
在这里插入图片描述
5.进入Hive的配置文件目录将默认的模板问津进行拷贝重命名
在这里插入图片描述
6.对配置文件进行修改,找到相关的配置项对其值进行修改
在这里插入图片描述
7.在集群中启动zookeeper服务,并启动hadoop服务,在主节点启动Hbase服务。查看相关的进程信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
8.在HDFS中分贝创建Hive的零时文件目录“tmp”,数据存储目录“warehouse”,日志文件目录“Log”并添加目录的用户组写权限
在这里插入图片描述
9.对配置文件进行修改,找到name所表示的属性项名称修改七标签
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
11.使用相关命令启动Mysql集群,创建hive的元数据库,在CLuster-04中创建一个hive数据库。设置访问权限刷新数据库权限信息
在这里插入图片描述
在这里插入图片描述
12.进入配置文件添加MYSQL连接的相关配置信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
13.将mysql的数据库连接工具包添加到hive的“lib”目录下,添加MTSQL连接的相关配置信息,并对Hive进行初始化
在这里插入图片描述
二.Hive工具启动和验证
1.使用hive命令启动hive进入控制台,查看当前数据库列表,功能函数以及函数的详细信息
在这里插入图片描述
在这里插入图片描述
任务二:Hive的应用
一:启动相关的服务,查到群集中每个进程中又6个服务则证明服务启动成功。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
二:数据库Hive的使用
1.启动Hive进入控制台,查看当前数据库列表,创建数据库test1
在这里插入图片描述
在这里插入图片描述
2.创建表,查看创建的表,然后进行删除表和数据库的操作
在这里插入图片描述
在这里插入图片描述
3.创建数据库test2,test3,并使用数据库
在这里插入图片描述
在这里插入图片描述
4.创使用HDFS命令查看相关信息,然后进入控制台查看
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5.创建数据库test4,准备数据表,在admin用户的家目录下新建sampledata.txt并添加以下内容
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
6.查看表信息
在这里插入图片描述
7.创建分区表,向分区表插入数据,并查看表的信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
8.登录http://192.168.10.111:8088/cluster/apps可以查看job执行状态
在这里插入图片描述
9.解析表
在这里插入图片描述
在这里插入图片描述
10.在用户家目录下分别新建student1.txt;studeng2.txt,student3.txt并写入以下内容;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
11.查看相关信息,并将文件放入HDFS文件系统
在这里插入图片描述
12.进入Hive并创建数据库test5,使用该数据库
在这里插入图片描述
13.创建外部表,查询外部表信息
在这里插入图片描述
14.删除HDFS的student1.txt
在这里插入图片描述
15.将student1.txt重新放入HDFS input目录下并查看外部表
在这里插入图片描述
在这里插入图片描述
16.对数据进行HASH运算,放入笔筒文件中,降低热块,提高查询速度,根据sname进行hash运算存入5个桶中
在这里插入图片描述
17.在用户家目录下新建users.txt写入内容并查看结果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

18.在浏览器查看
在这里插入图片描述
19.Hive的数据模型视图-创建视图,创建数据库并使用数据库
在这里插入图片描述
a.创建一个测试表
在这里插入图片描述
在这里插入图片描述
b.创建一个VIEW之前,使用explain命令查看创建的View的命令事如何被Hive解释执行的;
在这里插入图片描述
c.实际创建一个View;
在这里插入图片描述
d.在View执行之前,先explain查看实际被翻译后的执行过程
在这里插入图片描述
e.最后,对VIEW执行一次查询,显示Stage-1阶段对原始表进行了Mapreduce过程
在这里插入图片描述
20.在浏览器可以查看到一次视图查询的任务
在这里插入图片描述

3、遇到的问题

一.在HDFS中分别创建Hive的临时文件目录时出错
在这里插入图片描述
在这里插入图片描述
解决方案:
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值