Hadoop系统入门之数据仓库Hive

Hive产生的背景:
MapReduce编程的不方便
传统关系型数据库的需要

Hive概述之Hive是什么
由Facebook开源,用与解决海量结构化日志的数据统计问题。
构建再Hadoop之上的数据仓库。
Hive提供的SQL查询语言: HQL。
底层支持多种不同的执行引擎。

HDFS上的文件并没有schema(数据组织结构)的概念。
Hive底层执行引擎支持: MR/Tez/Sperk.

统一元数据管理:
Hive数据是存放在HDFS.
元数据信息(记录数据的数据)是存放在MySQL中。
SQL on Hadoop: Hive,Spark SQL,impala….

Hive体系架构:
在这里插入图片描述

在这里插入图片描述
Hive数据抽象/结构
database HDFS一个目录
table HDFS一个目录
data 文件
partition 分区表 HDFS一个目录
data 文件
bucket 分桶 HDFS一个文件

Hive部署:
1.下载:Hive 数据仓库下载要参考hadoop版本,如图所示查看hadoop版本的命令:
在这里插入图片描述
2.解压,配置环境变量:
解压到指定的app目录
在这里插入图片描述配置环境变量
在这里插入图片描述
在这里插入图片描述
配置完成source生效:
在这里插入图片描述
在这里插入图片描述
3.修改配置
修改hive-env.sh配置
在这里插入图片描述
在这里插入图片描述
修改hive-site.xml
在这里插入图片描述在这里插入图片描述
4.拷贝Mysql驱动包到$HIVE_HOME/lib里面
在这里插入图片描述在这里插入图片描述
5.前提要安装一个mysql数据库,yum install的方式安装一个mysql数据库。
https://www.cnblogs.com/julyme/p/5969626.html
6.启动hive

在这里插入图片描述在这里插入图片描述
关于Hive挖坑知识点:

https://www.cnblogs.com/garfieldcgf/p/10215205.html,https://www.cnblogs.com/kisf/p/7573561.html,https://blog.csdn.net/zhangshenghang/article/details/98625330

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值