HIVE 数据仓库工具之第一部分（讲解&部署）

于 2024-08-27 23:41:00 发布
阅读量561 收藏 23
点赞数 20
分类专栏： # Hadoop 文章标签： 数据仓库 hive hadoop HIVE 讲解和部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slb190623/article/details/141536793
版权

HIVE 数据仓库工具

一、Hive 概述

1.1 Hive 是什么

  • Hive是由faceBook开源，最初用于解决海量结构化的日志数据统计问题，它可以作为ETL
    工具。
  • Hive最初是构建在Hadoop之上的数据仓库
    • 数据计算是MapReduce
    • 数据存储是HDFS
  • Hive 定义了一种类SQL的查询语言——HQL
  • Hive 适合离线数据处理
  • Hive 是将HQL转换为MR的语言翻译器

1.2 Hive 产生的背景

Hive 的诞生源于 Facebook 的日志分析需求，面对海量的结构化数据， Hive 能够以较低的成本完成以往需要大规模数据库才能完成的任务，并且学习门槛相对较低，应用开发灵活且高效。
后来Facebook将 Hive 开源给了 Apache，成为 Apache的一个顶级项目，至此Hive在大数据应用方面得到了快速的发展和普及。

1.3 Hive 优缺点

1.3.1 Hive的优点

  • Hive适合数据的批处理，解决了传统关系型数据库在海量数据处理上的瓶颈。
  • Hive构建在Hadoop之上，充分利用了集群的存储资源、计算资源。
  • Hive学习使用成本低，支持标准的SQL语法，这样就免去了编写MapReduce程序的过程减少了开发成本。
  • 具有良好的扩展性，且能够实现与其他组件的集成开发

1.3.2 Hive 的缺点

  • HQL的表达能力依然有限，不支持迭代计算，有些复杂的运算用 HQL不易表达，还需要单独编写MapReduce来实现。
  • Hive的运行效率低、延迟高，这是因为Hive底层计算引擎默认为MapReduce，而MapReduce是离线计算框架。
  • Hive的调优比较困难，由于HQL语句最终会转换为MapReduce任务，所以Hive的调优还需要考虑MapReduce层面的优化。

1.4 Hive在Hadoop生态系统中的位置

在这里插入图片描述

1.5 Hive 和 Hadoop的关心

Hive利用HDFS来存储数据，利用MapReduce来查询分析数据，那么Hive与Hadoop之间的关系总结如下。

  • Hive需要构建在Hadoop集群之上。
  • Hive中的所有数据都存储在Hadoop分布式文件系统中。
  • 对HQL查询语句的解释、优化、生成查询计划等过程均是由 Hive 完成的，而查询计划被转化为 MapReduce 任务之后需要运行在 Hadoop 集群之上。

二、Hive 原理及架构

2.1 Hive 的设计原理

Hive 是一种构建在Hadoop之上的数据仓库工具，可以使用HQL 语句对数据进行分析和查询而Hive的底层数据都存储在HDFS中。Hive在加载数据过程中不会对数据进行任何的修改,只是将数据移动到指定的HDFS目录下，因此，Hive不支持对数据的修改。

2.2 Hive 特点

  • 支持索引，加快数据查询。
  • 不同的存储类型，例如，纯文本文件、HBase 中的文件。
  • 将元数据保存在关系数据库中，大大减少了在查询过程中执行语义检查的时间。
  • 可以直接使用存储在Hadoop 文件系统中的数据。
  • 内置大量用户自定义函数(user define function，简称UDF)来对时间、字符串进行操作,支持用户扩展UDF 函数来完成内置函数无法实现的操作。
  • HQL语句最终会被转换为MapReduce任务运行在Hadoop集群之上。

2.3 Hive的体现结构

在这里插入图片描述

2.4 Hive的运行机制

在这里插入图片描述

2.5 Hive 的转换过程

在这里插入图片描述

2.6 Hive 的数据类型

2.6.1 Hive 的基本数据类型

在这里插入图片描述

2.6.2 Hive 的复杂数据类型

在这里插入图片描述

2.7 Hive 的数据存储

  • 表（table）
    Hive的表在逻辑上由存储的数据和描述表中数据形式的相关元数据组成。数据一般存放在HDFS中，但它也可以放在其他任何Hadoop文件系统中，包括本地文件系统或S3。Hive把元数据存放在关系型数据库中，而不是放在HDFS中。在Hive中创建表时，默认情况下Hive负责管理数据。这意味着Hive把数据移入它的“仓库目录”另外一种选择是创建一个外部表(external table)，这会让Hive到仓库目录以外的位置访问数据。

  • 分区（Partition）
    Hive把表组织成分区。这是一种根据分区列(如日期)的值对表进行粗略划分的机制。使用分区可以加快数据分片的查询速度。以分区的常用情况为例，如日志文件的每条记录包含一个时间戳。如果我们根据日期来对它进行分区，那么同一天的记录就会被存放在同一个分区中。这样做的优点是对于限制到某个或者某些特定日期的查询，它们的处理可以变得非常高效。因为它们只需要扫描查询范围内分区中的文件。注意，使用分区并不会影响大范围查询的执行，我们仍然可以查询跨多个分区的整个数据集。

  • 桶（Bucket）
    表或者分区可以进一步分为桶。它会为数据提供额外的结构以获得更高效的查询处理。例如，通过用户ID来划分桶，我们可以在所有用户集合的随机样本上快速计算基于用户的查询

三、Hive 安装部署

3.1 安装 MySQL

  • 在线安装 MySQL
[root@hadoop1 ~]# yum install mysql-server

如果安装提示：no package mysql-server available，可以先下载mysql的repo源，再安装repo源，然后再执行上面的脚本

[root@hadoop1 ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
[root@hadoop1 ~]# rpm -ivh mysql-community-release-el7-5.noarch.rpm
  • 启动 MySQL 服务，查看状态
[root@hadoop1 ~]# service mysqld start
[root@hadoop1 ~]# service mysqld status

在这里插入图片描述

  • 设置用户密码
    • 登录 MySQL （无密码，直接按回车）
    [root@hadoop1 ~]# mysql -uroot -p
    • 设置 root 用户密码
    mysql> set password for root@localhost=password('root');
    • 登录 MySQL （需要输入秘密）
    [root@hadoop1 ~]# mysql -uroot -p
  • 创建 Hive 账号
    • 创建 hive 账号
    mysql> create user 'hive' identified by 'hive';
    • 给 hive 用户授权
    mysql> grant all on *.* to 'hive'@'hadoop1' identified by 'hive';
    • 使授权生效
    mysql> flush privileges;
    • Hive 用户登录 MySQL
    [root@hadoop1 ~]# mysql -h hadoop1 -u hive -p

3.2 安装 Hive

3.2.1 下载解压

下载地址：https://archive.apache.org/dist/hive/hive-2.3.9/
在这里插入图片描述
下载 Hive 安装包apache-hive-2.3.9-bin.tar.gz，然后上传至hadoop1节点的/usr/local/目录下。

然后开始解压并创建软连接，命令如下：

[root@hadoop1 local]# tar -zxvf apache-hive-2.3.9-bin.tar.gz 
[root@hadoop1 local]# ln -s apache-hive-2.3.9-bin hive

在这里插入图片描述

3.2.2 修改 Hive 配置文件

进入hive的conf目录下发现hive-site.xml文件不存在，需要从默认配置文件复制一份，具体操作如下所示。

[root@hadoop1 hive]# cp /usr/local/hive/conf/hive-default.xml.template /usr/local/hive/conf/hive-site.xml

然后在hive-site.xml配置文件中，修改元数据库相关配置，修改内容如下所示。

[root@hadoop1 hive]# vim /usr/local/hive/conf/hive-site.xml

配置文件对应位置修改如下（此处本人使用mysql数据库，默认是derby数据库）：

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
#修改连接MySQL的URL
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop1:3306/hive?creatDatabaseIfNotExist=true</value>
  </property>
#修改连接数据库的用户名和密码
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
  </property>

3.2.3 配置 Hive 环境变量

打开 /etc/profile 文件，配置Hive环境变量，具体操作如下所示。

[root@hadoop1 hive]# vim /etc/profile

添加如下内容

# 添加 Hive 环境变量
HIVE_HOME=/usr/local/hive
PATH=$HIVE_HOME/bin:$PATH
export HIVE_HOME PATH

在这里插入图片描述
保存并退出，并用命令source /etc/profile 使配置文件生效。

3.2.4 添加 MySQL 驱动

下载 MySQL 驱动地址：https://dev.mysql.com/downloads/
在这里插入图片描述
然后上传至Hive的lib目录下即可。
在这里插入图片描述

3.2.5 修改 Hive 相关数据目录

修改hive-site.xml配置文件，更改相关数据目录，具体配置如下所示。

[root@hadoop1 hive]# vim /usr/local/hive/conf/hive-site.xml

配置文件对应位置修改如下：

<property>
    <name>hive.querylog.location</name>
    <value>/usr/local/hive/iotmp</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/usr/local/hive/iotmp</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/hive/iotmp</value>
</property>

3.2.6 启动 Hive 服务

第一次启动Hive服务需要先进行初始化，具体操作如下所示。（初始化之前需要启动 Hadoop 集群）

[root@hadoop1 hive]# /usr/local/hive/bin/schematool -dbType mysql -initSchma

在这里插入图片描述
启动 hive
在这里插入图片描述

备注：第二部分进行 Hive 的使用进行详细说明

slb190623
关注
  • 20
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
【hadoop期末复习】第九章 数据仓库Hive 超详细讲解
onion23的博客
07-01 6943
** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分： 【简单】学习通习题 【进阶】课本课后练习 【操作】相关章节实验回顾 让我们开始吧！ 学习通 - 习题 课本 - 课后习题 实验回顾 ** 详见我之前写的：【hadoop学习之路】Hive HQL 语句实现查询 ...
5、Hive 数据仓库技术
KamRoseLee的博客
11-12 1177
一、Hive 概念 Hive 是基于 Hadoop 的数据仓库软件，可以查询和管理 PB 级别的分布式数据。数据仓库已用多种方式定义，很难给出一种严格的定义。宽泛来讲，数据仓库是一种数据库，他与单位的操作数据库分别维护。数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理提供支持。数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程...
Hive数据仓库的安装配置
W_chuanqi的博客
01-07 891
Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分析方面的工作，还节省了开发人员的学习成本。
【图书推荐】《Hive入门与大数据分析实战》
brucexia的专栏
06-17 821
Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转换、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive能将结构化的数据文件映射为一张数据库表，并能提供SQL查询分析功能，将SQL语句转换成MapReduce任务来执行，从而实现对数据进行分析的目的。本书配套示例源码、PPT课件、教学大纲。
5、hive的load、insert、事务表使用详解及示例
热门推荐
alanchanchn的专栏
06-06 4万+
比如，如果表具有分区，则load命令没有指定分区，则将load转换为INSERT AS SELECT，并假定最后一组列为分区列，如果文件不符合预期，则报错。由于使用了split-update，UPDATE是不会出现的，所以delta文件中的operation是0 ， delete_delta 文件中的operation是2。详见Hive事务的支持段落。所有合并都是在后台完成的，不会阻止数据的并发读、写。对于DELETE语句，则为null，对于INSERT就是插入的数据，对于UPDATE就是更新后的数据。
HIve讲解（详细）
Ele_sorriu的博客
12-17 2万+
Hive 一、Hive基本概念 1.1、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复...
数据分析从零到精通第二课 Hive和Spark入门
fegus的博客
05-28 706
03 离线利器：大数据离线处理工具 Hive 的常用技巧 今天为你介绍数据分析师最常用的数据处理工具 Hive 的一些使用技巧。这些技巧我们在工作中使用得比较频繁，如果运用得当，将为我们省去不少时间精力。 那么首先，我们先来了解下 Hive。Hive 是 Facebook 开源的一款基于 Hadoop 的数据仓库工具，它能完美支持 SQL 查询功能，将 SQL 查询转变为 MapReduce 任务执行。这使得大数据统计得以实现。Hive 是最早的也是目前应用最广泛的大数据处理解决方案。 Hive 的重要性
【数据仓库】Apache Hive初体验
wenchun001的博客
07-28 636
为什么使用Hive？使用Hadoop MapReduce直接处理数据所面临的问题：人员学习成本太高需要掌握ava语言MapReduce实现，复杂查询逻辑开发难度太大！ 1，使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力(简单、容易上手)避免直接写MapReduce，减少开发人员的学习成本支持自定义函数，功能扩展很方便。背靠Hadoop，擅长存储分析海量数据集
Hive数据仓库实战
weixin_52610848的博客
12-05 2556
文章目录前言一、Hive原理和功能介绍二、Hive安装部署三、Hive SQL操作UDF函数Hive 数据仓库模型设计总结 前言 Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。 一、Hive原理和功能介绍 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
数据仓库中的表设计模式：全量表、增量表与拉链表
oOBubbleX的博客
08-23 1030
全量表通过保存完整的数据快照确保数据的一致性，增量表则通过记录数据的变化部分优化性能和存储效率，而拉链表则通过维护数据的历史版本满足复杂的分析和审计需求。总的来说，全量表、增量表和拉链表是数据仓库中常见的表设计模式，它们各自针对不同的数据更新场景提供了解决方案，能够有效管理数据的变化并维护历史记录。(3)每当需要更新数据仓库中的某个实体时，通常会先将完整的数据集(全量数据)加载到该表中，然后进行必要的处理，例如数据清洗、转换和聚合等。(2)它保存了维度表中的历史记录，并且可以追踪维度数据的变化情况。
【数据仓库/数据治理】探索数据处理的两大类：OLTP与OLAP及其核心技术
一定要站在自己热爱的生活里闪闪发光
08-27 669
在现代数据处理的世界中，数据的管理和分析是商业和技术决策的关键。和。这两者分别适用于日常事务处理和复杂的分析操作，在数据管理中扮演着不同但互补的角色。
java框架第二课(Reflection反射机制)
2301_77721901的博客
08-27 684
java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取信息以及动态调用对象的方法的功能称为java语言的反射机制。(3)在java中为什么要使用反射就在上述场景中介绍一样，在java中平常不可避免的要用到反射，平常写业务代码(就是自己创建类new 对象，自己清楚类的属性和方法)用不到，但是一些其他场景不可避免地可能只知道类名,对象名等，要对该类(对象)的属性，方法操作就需要•。
Hive SQL 练习
08-27 119
【代码】Hive SQL 练习。
Python大数据之Hadoop学习——day05_hive基本操作
最新发布
weixin_46010015的博客
08-27 569
优点：可以单独使用外部库(mysql),可以共享元数据,本地可以连接metastore服务也可以连接hiveserver2服务,增加了扩展性(其他依赖hive的软件都可以通过Metastore访问hive)创建数据库:create database [if not exists] 库名 [comment '注释'] [location '路径'] [with dbproperties ('k'='v')];还可以叫非管理或非拖管表。优点：可以单独使用外部的数据库(mysql),元数据共享。
如何使用Hive进行安顺旅游景点数据分析与推荐系统构建
JSJBCZDS
08-27 944
如何使用Hive进行安顺旅游景点数据分析与推荐系统构建 本项目利用Hive对安顺旅游景点数据进行分析，构建了一个高效、准确的旅游推荐系统，为游客提供个性化旅游方案，助力安顺旅游业发展。
【MySQL、Hive】分区表
tianty1121的博客
08-24 279
SQL 本身并不直接支持多线程处理，因为 SQL 是一种声明式语言，主要用于定义和操作数据库中的数据。多线程通常是在应用程序层面实现的。然而，有一些方法可以在 SQL 环境中优化并发处理和提高性能，这些方法在某种程度上可以被视为"多线程"的替代方案。
【数据库】MySql基本引擎InnoDB、MyISAM、MEMORY、CSV、ARCHIVE（详细说明）
A的博客
08-23 870
合理选择数据库存储引擎对于系统的性能、数据完整性、维护成本等方面都具有重要影响
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

slb190623

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值