Apache Hive

已于 2023-10-30 11:09:39 修改
阅读量665 收藏 1
点赞数
文章标签： hive hadoop 数据仓库
于 2023-10-30 11:08:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45789558/article/details/134112386
版权

目录​​​​​​​

数据仓库（DW）

SQL语法分类

Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）

为什么使用Hive

使用Hadoop MapReduce直接处理数据所面临的问题

使用Hive处理数据的好处

对Hive的理解

Apache Hive--架构图

组件用户接口

元数据存储

Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器

执行引擎

数据仓库（DW）

用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成数据环境。

数仓主要特征

1.面向主题

2.集成性（ETL抽取、转换、加载）

3.非易失性

4.时变性

SQL语法分类

数据定义语言（DDL）和数据操（DML）

DDL语言是我们创建或删除表

CREATE DATABASE -

CREATE TABLE

DML语法进行数据插入、更新、删除、查询

SELETE   UPDATE  DELETE   INSERT

结构化数据是由二维表结构来逻辑表达和实现的数据

Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）

Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以在存储Hadoop文件中的结构化、半结构化数据映射为一张数据库表，称为HQL语言

Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行

Hive由FaceBook实现开源

为什么使用Hive

使用Hadoop MapReduce直接处理数据所面临的问题

1.人员学习成本高、需要掌握java语言

2.MapReduce实现复杂查询逻辑开发难度大

使用Hive处理数据的好处

1.操作接口采用SQL语法、提供快速开发的能力（简单容易上手）

2、避免直接写MapReduce,减少开发人员的学习成本

3.支持自定义函数、功能扩展很方便

4.背靠Hadoop，擅长存储分析海量数据

对Hive的理解

1.Hive能将数据文件映射成为一张表、这个映射是指什么？

文件和表之间的对应关系

2.Hive软件本身承担了什么功能职责

将SQL语法转换成MapReduce

Apache Hive--架构图

组件用户接口

包括CLI、JDBC/ODBC。其中，CLI为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC协议，WebGUI是通过浏览器访问Hive

元数据存储

映射关系

Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器

完成HQL查询语句从语法分析、编译、优化以及查询计划生成。生成计划存储在HDFS中，并在随后有执行的引擎调用

执行引擎

HIve本身不直接处理数据文件 MapReduce、Tez、Spark

liyantower
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Hive
01-26
Apache Hive是一个开源的数据仓库工具，它基于Hadoop平台，使得用户可以使用类SQL语言（HQL）来查询Hadoop集群上的大型数据集。Hive适用于处理和分析大规模数据，并能够对数据进行存储、查询和分析。它在大数据离线...
Apache Hive.zip
10-26
**Apache Hive 深度解析** Apache Hive 是一个基于Hadoop的数据仓库工具，它允许用户使用SQL-like查询语言（称为HiveQL）来查询、管理和处理大数据集。Hive最初由Facebook开发，后来成为了Apache软件基金会的一个...
Apache Hive面试题
02-19
### Apache Hive面试题详解 #### 一、Hive Metastore的三种模式 Hive Metastore服务主要用于存储Hive的元数据信息，包括表结构、分区信息等。Hive支持三种Metastore的存储模式： 1. **内嵌Derby方式**： - **...
Apache Hive（apache-hive-3.1.3-bin.tar.gz）
04-26
Apache Hive（apache-hive-3.1.3-bin.tar.gz、apache-hive-3.1.3-src.tar.gz）是一种分布式容错数据仓库系统，支持大规模分析，并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache...
UE4 BuildCookRun中的Archive的含义
sinat_23135151的博客
08-26 159
在UE4中，Archive、Cook、Stage、Package、Build的次序是怎么样的？整体打包过程如下: Build -> Cook-> Stage -> Package -> Archive。其中，Archive 的含义是从Staged目录中拷贝文件到一个额外的目录即Archive目录。被称为“归档”。
【大数据】-- 插入或覆写动态分区数据（MaxCompute/Hive）
欢迎来到我的博客，一起探索代码里的世界！
08-23 75
问题：在一些业务场景中，我们需要插入动态分区数据（DYNAMIC PARTITION），如何实现？答：实现如下注意：在 select 时，必须要将 partition_name 添加上。
基于Hadoop+Zookeeper+Hive+HBase+Echarts的地区旅游大数据可视化管理系统设计与实现
2301_76419561的博客
08-26 559
HBase——Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；
Hive SQL
08-26 656
tinyint 1byte 有符号整数smallint 2byte 有符号整数int 4byte 有符号整数bigint 8byte 有符号整数boolean 布尔类型，true或者falsefloat 单精度浮点数double 双精度浮点数decimal 十进制精准数字类型 decimal(16,2)
hive数据迁移
前方的路在刚开始
08-26 149
bandwidth 100 -m 100 代表每个map传送的宽带是每秒100mb，-m指的是 启动100个map。同步方式很多，导出sql，用工具navicat，同步脚本。hive有2种表方式，磁盘和关系型数据库，一般我们都是用mysql，2者操作一样。hive有2种存储方式，存磁盘或者hdfs，2者操作一样，磁盘就scp过去。然后进入迁移后的表，迁移数据后，进入hive在将这个建表sql建立一下。，那么需要在迁移后的表，迁移数据后，进行分区修复。如果迁移失败，导致没有元数据，那么需要重新建表。
[Hive]四、Hive On Tez
weixin_44428807的博客
08-26 513
用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。2）拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/software目录。Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。3）将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。下面创建一个tez-site.xml文件。
计算机毕业设计hadoop++hive微博舆情预测 微博舆情分析 微博推荐系统 微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 知识图谱
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-27 93
计算机毕业设计hadoop++hive微博舆情预测 微博舆情分析 微博推荐系统 微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 知识图谱
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 980
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
WPF UserControl 进行界面绑定，怎么进行内存释放
m0_58717895的博客
08-26 78
当你在一个界面中多次创建相同的下面是一个示例演示如何在一个窗口中创建三个相同的实例，每个实例绑定不同的数据，并在需要时释放当前页面的内存。
Hadoop的HA配置与实现（ZooKeeper）
wusuoweiieq的博客
08-26 626
将112的tmp目录复制到113上（113为备用的主节点）和dfs.namenode.http-address.
数据仓库: 4- 数据质量管理 & 5- 元数据管理
Taerge0110的博客
08-23 1102
数据清洗是数据仓库数据质量管理中至关重要的一环, 直接影响到数据仓库中数据的可靠性和分析结果的准确性;通过制定合理的清洗规则、选择合适的清洗方法、使用自动化工具以及持续监控数据质量, 可以有效地提高数据质量, 为数据分析和业务决策提供高质量的数据支持 .数据一致性指数据在不同系统、表格或时间点之间保持统一和协调的程度;它确保数据的完整性、准确性和可靠性;数据一致性检查是数据仓库数据质量管理中不可或缺的一环, 它直接影响到数据仓库中数据的可靠性和分析结果的准确性;
数据仓库中的表设计模式：全量表、增量表与拉链表
oOBubbleX的博客
08-23 914
全量表通过保存完整的数据快照确保数据的一致性，增量表则通过记录数据的变化部分优化性能和存储效率，而拉链表则通过维护数据的历史版本满足复杂的分析和审计需求。总的来说，全量表、增量表和拉链表是数据仓库中常见的表设计模式，它们各自针对不同的数据更新场景提供了解决方案，能够有效管理数据的变化并维护历史记录。(3)每当需要更新数据仓库中的某个实体时，通常会先将完整的数据集(全量数据)加载到该表中，然后进行必要的处理，例如数据清洗、转换和聚合等。(2)它保存了维度表中的历史记录，并且可以追踪维度数据的变化情况。
【数据库和数据仓库】
qq_45611002的博客
08-23 483
商业智能（BI）系统主要包括数据预处理、建立数据仓库、数据分析和数据展现四个主要阶段。
【大数据】数据仓库的定义、数据模型及其建设与设计
一定要站在自己热爱的生活里闪闪发光
08-23 711
数据仓库是支持管理决策的集成化、主题化的数据集合，它通过ETL过程从事务型数据库中抽取、清洗和转换数据。其体系结构包括数据源、存储与管理、OLAP服务器和前端工具。数据模型分为概念、逻辑和物理模型，涉及高层、中间层和底层建模。设计过程包括概念模型、逻辑模型和物理模型设计，重点在于确定主题域、粒度、数据分割策略和关系模式定义，以及软硬件配置和数据抽取、转换、加载策略。
图书馆座位再利用系统小程序源码 图书馆座位再利用系统小程序代码（高分毕设项目源码）
08-26
1. 小程序图书馆座位再利用系统代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：java，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
Apache Hive入门指南
"Apache Hive Essentials" 本书《Apache Hive Essentials》是关于理解和使用Apache Hive的重要资源，旨在帮助读者深入掌握大数据处理和分析的核心工具——Hive。Apache Hive是一个基于Hadoop的数据仓库工具，它允许...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值