大数据学习之数据仓库Hive

最新推荐文章于 2024-08-27 23:41:00 发布
最新推荐文章于 2024-08-27 23:41:00 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： 大数据 文章标签： 数据仓库 hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45786520/article/details/122132494
版权

数据仓库概念

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
传统的数据仓库是数据存储产品也是数据处理分析产品，能同事支持数据的存储和处理分析
在这里插入图片描述
传统数据仓库所面临的挑战

  • 无法满足快速增长的海量数据存储需求
  • 无法有效处理不同类型的数据
  • 计算和处理能力不足

构建在Hadoop平台之上的Hive

Hive本身不支持数据存储和处理，为用户提供了一种编程语言HiveQL，用户根据提供HiveQL语句，来运行具体的MapReduce任务，支持类似SQL的接口， 很容易进行移植。Hive是一个可以提供有效合理直观组织和使用数据的分析工具

Hive有两个方面的特性：

  1. 采用批处理方式处理海量数据
    数据仓库存储是静态数据，对静态数据的分析适合采用批处理方式， 不需要快速响应给出结果，而且数据本身也不会频繁发生
  2. Hive提供了适合数据仓库的一系列对数据进行提取、转换、加载（ETL）的工具
    可以存储、查询和分析存储在Hadoop的大规模数据。这些工具能够很好地满足数据仓库各种应用场景

在这里插入图片描述
Pig和Hive应用场景的区别：

  • Pig主要用于数据仓库的ETL环节
  • Hive主要用于数据仓库海量数据的批处理分析
    在这里插入图片描述
    Hive在企业中的应用
    在这里插入图片描述

Hive的系统架构

在这里插入图片描述
Hive系统架构中三个核心模块

  1. 用户接口，Hive对外访问接口
  • CLI　：一种命令行工具
  • HWI ： Hive Web Interface 是一种Web接口
  • JDBC和ODBC：开放数据库连接接口很多应用开发都支持
  • Thrift　Server：基于Thrift架构开发的接口，允许外界通过这个接口，实现Hive仓库的RPC掉调用
  1. 驱动模块
    包含编译器、优化器、执行器，负责把Hive QL语句转换为一系列MapReduce作业
  2. 元数据存储模块
    是一个独立的关系型数纪库，通过MySQL数据库来存储HIve的元数据

除了用CLI和HWI工具来访问Hive外，还可以采用以下几种典型外部访问工具：

  • Karmasphere
    Karmasphere是由Karmasphere公司发布的一个商业产品。可以直接访问Hadoop里面结构化和非结构化的数据，可以运用SQL及其他语言，可以用于Ad Hoc查询和进一步的分析；还为开发人员提供了一种图形化环境，可以在里面开发自定义算法，为应用程序和可重复的生产流程创建实用的数据集。
  • Hue是由Cloudera提供的一个开源项目。是运营和开发Hadoop应用的图形化用户界面；Hue程序被整合到一个类似桌面的环境，以web程序的形式发布，对于单独的用户来说不需要额外的安装。
  • Qubole公司提供了“Hive即服务”的方式。托管在AWS平台，这样用户在分析存储在亚马逊S3云中的数据集时，就无需了解Hadoop系统管理；提供的Hadoop服务能够根据用户的工作负载动态调整服务器资源配置，实现随需计算。

Hive的工作原理

SQL语句转换成MapReduce作业的基本原理

连接（join）实现的基本原理

  1. 编写Map处理逻辑
  2. Map处理逻辑输入关系数据库的表
  3. 通过Map进行转换，生产一系列的键值对
    在这里插入图片描述

在Map阶段，表user中记录(uid,name)映射为键值对(uid,<1,name>)，表order中记录(uid, orderid)映射为键值对(uid，<2,orderid >)。1,2是表user和order的标记位。

在Shuffle、Sort阶段，(uid,<1,name>)和(uid,<2, orderid >)按键uid的值进行哈希，然后传送给对应的Reduce机器执行，并在该机器上按表的标记位对这些键值对进行排序。比如，(1,<1,Lily>)、(1,<2,101>)和(1,<2,102>)传送到同一台Reduce机器上，并按该顺序排序。

在Reduce阶段，对同一台Reduce机器上的键值对，根据表标记位对来自不同表的数据进行笛卡尔积连接操作，以生成最终的连接结果。

分组（group by）实现的基本原理

在这里插入图片描述
在Map阶段，表score中记录(rank,level)映射为键值对(<rank,level> , count(rank,level))，比如，score表的第一片段中有两条记录，所以键值对为(<A,1> ,2)。

在Shuffle、Sort阶段，(<rank,level> ,count(rank,level))按键<rank,level>的值进行哈希，然后传送给对应的Reduce机器执行，并在该机器上按<rank,level>的值对这些键值对进行排序。比如，(<A,1>,2)和(<A,1>,1)传送到同一台Reduce机器上，按到达顺序排序

在Reduce阶段，对Reduce机器上的这些键值对，把具有相同<rank,level>键的所有count(rank,level)值进行累加，生成最终结果。

Hive种SQL查询转换成MapReduce作业的过程

当用户向Hive输入一段命令或查询时，Hive需要与Hadoop交互工作来完成该操作。
首先，驱动模块接收该命令或查询编译器。接着，对该命令或查询进行解析编译。然后，由优化器对该命令或查询进行优化计算。最后该命令或查询通过执行器进行执行。
在这里插入图片描述
具体可分为以下7步：

  1. 由Hive驱动模块中的编译器对用户输入的SQL语言进行词法和语法解析，将SQL语句转化为抽象语法树的形式，这种语法树无法直接进行MapReduce任务的
  2. 抽象语法树的结构仍然很复杂，不方面直接翻译为MapReduce算法程序，因此，需要把抽象语法树转化为查询块
  3. 把查询块转换成逻辑查询计划，里面包含了许多逻辑操作符
  4. 重写逻辑查询计划，进行优化合并多余操作，减少MapReduce任务数量
  5. 将第四步中的逻辑操作符转换成需要执行的具体MapReduce任务
  6. 对生成的MapReduce任务进行优化生成最终的MapReduce任务执行计划
  7. 由Hive驱动模块中的执行器对最终的MapReduce任务进行执行输出
    当启动MapReduce程序时，Hive本身是不会生成MapReduce算法程序的。需要通过一个表示“job执行计划”的XML文件驱动执行内置的、原生的Mapper和Reducer模块。
    Hive通过和JobTracker通信来初始化MapReduce任务，不必直接部署在JobTracker所在的管理节点上执行。
    通常在大型集群上，会有专门的网关机来部署Hive工具。网关机的作用主要是远程操作和管理节点上的JobTracker通信，来执行任务。
    数据文件通常存储在HDFS上，HDFS由NameNode节点管理

Hive的基本操作

Hive的安装
在这里插入图片描述

  1. create：创建数据库、表、视图
  • 创建数据库　create database hive; create database if not exists hive;
  • 创建表　use hive; create table if not exists usr(id bigint, name string, age int) location '/usr/local/hive/warehouse/hive/sur';
  • 创建视图 create view little_usr as select id, age from usr;
  1. show: 查看数据库、表、视图
  • 查看数据库：show database; show database like 'h.*';
  • 查看所有的表和视图：use hive; show tables show tables in hive like 'u.*';
  1. 向表中装载数据
  • 把对用目录下的数据文件中的数据装载进usr表并覆盖原有数据 load data local inpath 'usr/local/data' overwrite into table ust;
  • 把对应目录下的数据文件中的数据装载进usr表不覆盖原有数据 load data local inpath '/usr/local/data' into table usr
  • 把分布式文件系统的数据文件数据装载进usr表并覆盖原有数据 load data inpath 'hdfs://master_server/usr/local/data' overwrite into table usr;
  1. 向表中插入数据或从表中导出数据
  • 向表usr中插入来自usr1表中的数据并覆盖原有的数据 insert overwrite table usr select * from usr1 where age=10;
  • 向表usr中插入来自usr1表总的数据并追加到原来的数据后面 insert into table usr select * from usr where age=10;

Hive应用实例之WordCount

  1. 创建Input目录，在本地创建input目录 mkdir input
  2. 在input目录下创建两个测试文件file1.txt和file2.txt echo "hello world ">file1.txt，exho "hello hadoop">file2.txt
  3. 进入hive命令行界面，编写HiveQL语句实现WordCount算法
    create table docs(line string);
    load data inpath 'input' overwrite into table docs;
    create table word_count as select word, count(1) as count from (select explode(split(line,'')) as word from docs) w group by word order by word;

WordCount算法在MapReduce中的编程实现和Hive中的编程实现的不同点:

  • Hive的代码量少
  • MaoReduce需要事先编译生成jar文件来执行算法
@从心
关注
专栏目录
大数据课程——数据仓库Hive、数据库Hbase
qq_41881259的博客
05-07 773
数据仓库数据仓库数据仓库概念数据仓库的体系结构数据库和数据仓库的区别Hive什么是Hive为什么用HiveHive 与传统数据库的对比Hive的外部表和内部表 数据仓库 数据仓库概念 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合...
大数据之Hive数据仓库入门
tomorrowone的博客
06-05 617
Hive的官方网站：hive.apache.orgHive的官网解释：个人用海词翻译Hive是Facebook开源实现的，一个数据仓库基础工具，基于Hadoop中用来处理结构化的数据。它建立在Hadoop上面，使查询和分析方便，提供简单的sql查询功能，将Hsql转换为MapReduce任务进行运行。面试的时候，面试官会经常问，Hive是什么，其实主要是想你回答  Hive的三要素：HDFS：存储...
Hive数据库创建表
wonderful_life_mrchi的博客
05-09 3382
HIVE 基本操作 create table 总述 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，.
HIVE 数据仓库工具之第一部分（讲解&部署）
最新发布
slb190623的博客
08-27 1487
HIVE 数据仓库工具之第一部分（讲解&部署）
hive创建新表——基础
weixin_72871448的博客
12-12 2815
hive基础建表
hive数据库及表操作
m0_61551966的博客
06-02 642
更改列名/数据类型: ALTER TABLE table_name CHANGE COLUMN old_col_name new_col_name data_type;- 添加列: ALTER TABLE table_name ADD COLUMNS (column_name data_type, ...);- 删除分区: ALTER TABLE table_name DROP PARTITION (partition_col='value');# Hive数据库及表操作。### 查看表数据详情。
Hadoop-6-基于Hadoop的数据仓库Hive
一只不资深程序猿的博客
11-18 1136
6.1 概述 6.1.1 数据仓库概念 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 6.1.2 传统数据仓库面临的挑战 无法满足快速增长的海量数据存储需求 无法有效处理不同类型的数据 计算和处理能力不足 6.1.3 Hive简介 Hive是一个构建于Hadoop顶层的数据仓库工具 支持大规模数据存
大数据 hive 实战数据
04-07
让我们深入探讨一下这两个部分以及与Hive、大数据、Hadoop和数据仓库相关的知识点。 首先，`video`数据可能包含了关于视频的各种信息，如视频ID、视频标题、时长、分类、上传日期、播放次数、评论数量等。这些数据...
大数据技术学习笔记之Hive.zip
02-03
这份“大数据技术学习笔记之Hive”旨在帮助我们深入理解并掌握Hive的核心概念和技术应用。 一、Hive概述 Hive主要为非结构化或半结构化的海量数据提供数据仓库服务，通过SQL-like查询语言（HQL）进行数据查询，简化...
大数据技术之Hadoop学习(七)——Hive数据仓库
weixin_63507910的博客
01-12 2743
Hive数据仓库的认识与操作
【HIVE SQL】HIVE分区表和非分区的建立、删除、覆盖写入等操作
sunflower_sara的机器学习园地
05-21 9361
一、非分区表 1. 建表和数据写入 -- 表的建立 无备注 create table table db_name.table_name2as select * fromtable db_name.table_name1 --整张表的覆盖写入 非分区表 INSERT OVERWRITE TABLE db_name.table_name1 select * from db_name.table_name2 （会保留表的字段备注） 2.表的删除和数据清空 -- 删除整张...
基于hadoop的hive数据仓库基础操作知识整理
m0_52181584的博客
07-19 646
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 正在上传…重新上传取消（1）操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。（2）避免了去写 MapReduce，减少开发人员的学习成本。 无法实现。 Hive 调优比较困难，粒度较粗正在上传…重新上传取消1）用户接口：Client CLI（command-line interface）、JDBC
HADOOP hive 安装问题及理解及数据导入操作
lhyxcxy的博客
01-27 323
关于hive的安装请参考网上其他文章如：https://blog.csdn.net/Lee20093905/article/details/78871336，https://blog.csdn.net/vpqtxzmzezeqjj9977/article/details/80483019，https://www.cnblogs.com/jchubby/p/5449350.html，https://...
定时生成Hive报表
liuwei0376的专栏
08-03 645
背景 开发中，经常遇到一些固化的报表需求，需要按固定的频率（每天、每周、每月）来定时生成。 定时执行Hive脚本，根据调度的复杂程度，可以使用Azkaban，也可以选择更为轻量级的Linux crontab。 这里以crontab为例进行调度任务的配置。 报表要求 0、统计上月订单销售明细情况； 1、报表以Excel方式生成； 2、可能报表数据量比较大，如果数据量超过预设阈值（如50万），就按阈值分为N+1个文件； 3、受限于Excel的文件大小限制（Excel2007及之后，如果超过Excel的104万
hive 数据去重操作
HouYing
06-09 4258
Hive数据去重举例： Hql代码 INSERT overwrite TABLE store SELECT t.p_key, t.sort_word FROM ( SELECT p_key, sort_word, row_number () over ( distribute BY p_key sort BY sort_word ...
Hive 基本操作全覆盖
天道酬勤
04-28 4742
一、控制台使用 1. 让提示符显示当前库 hive>set hive.cli.print.current.db=true; 显示查询结果时显示表的字段名称： hive>set hive.cli.print.header=true; 2. 以上设置都仅仅在该会话中有效，结束会话后就失效 解决方式： 在linux的当前用户主目录中，编辑一个.hiverc（隐藏文件）文件，将参数写入其中...
简单的将数据存入数据仓库hive，并操作。
weixin_57551874的博客
04-27 752
简单的将数据存入数据仓库hive，并操作。 有一个用户user.txt 01#bingbing#23 02#liying#20 03#mali#24 04#xiaoli#18 05#wangli#20 06#mumu#23 要求: 1.将数据存入数据仓库users.myuser(id,name,age),需要将数据放在hdfs的/data下面 2.查找年龄最大的三个人,年龄相同再按照姓名排序 第一题： 先将user.txt放到Linux的/boot目录下 在hdfs上创建/data [root@hd
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值