Hive介绍与核心知识点

最新推荐文章于 2022-04-11 07:12:13 发布
最新推荐文章于 2022-04-11 07:12:13 发布
阅读量339 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beyond59241/article/details/84848181
版权
Hive是由Facebook开发的大数据仓库软件，使用SQL进行大数据分析，避免了编写MapReduce程序的复杂性。Hive的数据存储在HDFS上，元数据通常存储在MySQL，支持内部表和外部表，以及分区和桶的概念。Hive的执行过程涉及将Hive语句转化为MapReduce任务在YARN上执行。Hive支持多种文件格式，如TEXTFILE、SEQUENCEFILE、RCFILE和ORC File，其中ORC File提供了更好的性能和压缩。Hive的ROW FORMAT允许使用自定义或内置Serde进行数据序列化和反序列化。
摘要由CSDN通过智能技术生成

Hive

Hive简介

Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。

官网定义：

The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL.

Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。

Hive的几个特点

  • Hive最大的特点是通过类SQL来分析大数据，而避免了写MapReduce程序来分析数据，这样使得分析数据更容易。

  • 数据是存储在HDFS上的，Hive本身并不提供数据的存储功能

  • Hive是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如MySQL）。

  • 数据存储方面：它能够存储很大的数据集，并且对数据完整性、格式要求并不严格。

  • 数据处理方面：因为Hive语句最终会生成MapReduce任务去计算，所以不适用于实时计算的场景，它适用于离线分析。

Hive架构

5401760-c433ff613a8079d4.png
image.png
Hive的底层存储

Hive的数据是存储在HDFS上的。Hive中的库和表可以看作是对HDFS上数据做的一个映射。所以Hive必须是运行在一个Hadoop集群上的。

Hive语句的执行过程

Hive中的执行器，是将最终要执行的MapReduce程序放到YARN上以一系列Job的方式去执行。

Hive的元数据存储

Hive的元数据是一般是存储在MySQL这种关系型数据库上的，Hive和MySQL之间通过MetaStore服务交互。

Hive重要概念

外部表和内部表

内部表（managed table）
  • 默认创建的是内部表（managed table），存储位置在hive.metastore.warehouse.dir设置，默认位置是/user/hive/warehouse。
  • 导入数据的时候是将文件剪切（移动）到指定位置，即原有路径
最低0.47元/天 解锁文章
高广超
关注
Hive重点知识点总结
Ming~鸣 的博客
09-13 961
一.简介：① Hive是数据仓库 ； ② 将数据存放在 HDFS上， 元数据（MetaStroe）存放在 MySql上 （解决多用户共同操作Hive仓库问题）； ③ 将 SQL 转换成 MapReduce ，在Hadoo集群上执行。但并非所有的 SQL都会转换成 MR ，eg. select * from tableName 就不需要，只需要把所有的数据都读出来就可以了读出1
hive知识点
hua_yuan2015的博客
03-01 211
-- 创建并使用数据库 create database db_0625; use db_0625; -- 创建内部表 create table if not exists t_0625(sid int,sname string) row format delimited fields terminated by ',' stored as textfile; -- 创建外部表 crea...
Hive 核心知识点
weixin_42073629的博客
04-11 214
1请谈一下 Hive 的特点 hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为MapReduce 任务进行运行。 其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析，但是 Hive 不支持实时查询。 2Hive 底层与数据库交互原理？ ...
hive之核心知识点（一）
Ghjkluuu的博客
03-01 627
1，hive关键点： hive是通过mysql语句进行处理数据，首先我们在客户端写sql语句，把写的sql语句的元数据信息加载到mysql中，mysql和hdfs映射的表结构进行交互，最后通过mapreducer进行处理，显示处理过后的信息，底层数据没有变化，只是把处理的数据显示出来，同样可以把处理过后的数据，保存起来，保存到hdfs底层硬件中，这样以来可以看出hive处理大数据的强大之处。 ...
Hive 系列（一）—— Hive 简介及核心概念
黑白影的博客
06-07 728
一、简介 Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。 特点： 简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析； 灵活性高，可以自定义用户函数(UDF)和存储格式； 为超大的数据集设...
13——大数据技术之Hive介绍与核心知识点.pdf
08-20
大数据技术之Hive介绍与核心知识点，hive核心知识点和介绍，简介、架构、常用语句、概念等等。。。。。。。
Hive 分桶表核心知识点
Python+大数据+数据分析+自动化+Vue组件开发
12-09 2424
1.Hive 分桶表操作 1.1 数据分桶的定义 分桶是相对分区进行更细粒度的划分。 分桶将整个 hive 表数据内容按照某列属性值的 hash 值进行分区，通过分区将这些表数据划分到多个文件中进行存储。 其实桶的概念就是 MapReduce 分区的概念。物理上每个桶就是目录里的一个文件，一个任务作业产生的桶（即：输出文件）数量和设置的 reduce 任务个数相等。 假设有 hive 表：test_student，按照其字段 s_id 属性分为 3 个桶，那么就是对 s_id 属性值的 hash.
hive之核心知识点（三）
Ghjkluuu的博客
03-04 1527
1，hive的深入学习： 1.1，hive的表的动态分区： 动态的进行表的分区，能够节约我们的效率，分区的话根据分区字段的值，选好我们需要分区的字段，根据业务需求来分析。 动态分区有几个要点： 1,准备数据： 1,zss,bj2 2,lss,bj 3,tg,sh 4,xg,bj 5,ln,sd 6,yg,sh 2,创建普通表： create table tb_text( id string , name string , city string ) row forma...
大数据Hive面试题和知识点
feichong621的博客
11-04 515
Hive和RDBMS数据库有什么异同 Hive是基于Hadoop的一个数据仓库,底层运用HDFS进行数据存储,运用MapReduce进行任务运行,是面向分析的数据仓库,不支持实时查询. 区别: Hive是面向分析的,RDBMS是面向事务的 Hive不支持事务,但是RDBMS支持 Hive延时高,RDBMS延时低 Hive是读模式，RDBMS是写模式 Hive可以多表插入，RDBMS不支持多表插入 相同：语法类似，所以Hive学习成本低 Hive中Sort By，OrderBy，ClusterBy，
hive开窗函数知识点总结.txt
05-24
工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。
Hadoop大数据处理方面的文献
03-30
基于Hadoop的大数据处理技术，包括原理介绍、数据处理流程等
java核心知识点整理.pdf
04-19
1. 目录 1. 2. 目录 .........................................................................................................................................................1 JVM ...................................................................面试.................................................................................... 19 2.1. 线程 ...................................................................................................................................................... 20 2.2. JVM 内存区域 ..................................................................................................................................... 21 2.2.1. 程序计数器(线程私有) ................................................................................................................ 22 2.2.2. 虚拟机栈(线程私有) .................................................................................................................... 22 2.2.3. 本地方法区(线程私有) ................................................................................................................ 23 2.2.4. 堆(Heap-线程共享)-运行时数据区 ...................................................................................... 23 2.2.5. 方法区/永久代(线程共享) ..................................................................................................... 23 2.3. JVM 运行时内存 ................................................................................................................................. 24 2.3.1. 新生代 .......................................................................................................................................... 24 2.3.1.1. 2.3.1.2. 2.3.1.3. 2.3.1.4. Eden 区 .................................................................................................................................................... 24 ServivorFrom........................................................................................................................................... 24 ServivorTo ...........................................
Hive基础2笔记
dou_dou_shuai的专栏
05-18 538
================================================================================= 复习 1、Hive是什么？ Hive是一个类SQL能够操作hdfs数据的数据仓库基础框架 Hive是一个SQL的解析引擎，能够将HQL翻译转化为MR在hadoop中执行 2、Hive系统架构 用户结构 Shell CLI
hive之核心知识点（二）
Ghjkluuu的博客
03-03 1817
关于hive入门的核心要点。
大数据-hive知识点汇总
陆山右的技术博客
11-12 324
目录 · 概况 · 手工安装     · 引言     · 创建HDFS目录     · 创建元数据库     · 配置文件     · 测试 · 原理     · 架构     · 与关系型数据库对比 · API     · WordCount     · 命令     · 数据类型     · 文件存储格式     · 数据格式     · 数据库     ...
Hive知识点总结
差不多de先生的博客
03-28 166
Hive支持的数据类型 primitive_type array_type map_type struct_type DDL create table t1( id int, name string, ) row format delimited fields terminated by '\t' // 字段之间用'\t'隔开...
Hive学习(二)知识点整理
滴水穿石的博客
11-13 1879
Hive一、Hive简介？二、Hive的结构三、Hive的原理四、Hive的数据管理五、Hive的调优六、Hive环境搭建和部署 一、Hive简介？ hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必...
大数据面试必备：Hive核心知识点与面试策略
以下是关于Hive面试中常被提及的一些知识点： 1. Hive的重要性与特点： - Hive提供了类SQL查询接口，易于学习和使用，便于快速开发数据处理任务。 - Hive封装了许多功能，减少了直接编写MapReduce程序的需求，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值