hive基础知识

最新推荐文章于 2022-05-09 19:38:17 发布
最新推荐文章于 2022-05-09 19:38:17 发布
阅读量209 收藏
点赞数
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x18845040365/article/details/114987552
版权
本文介绍了Hive的基础知识，包括其数据处理特点、数据类型、内外部表区别、数据验证、类型转换规则、排序方式及分区、桶的概念。同时讨论了数据倾斜问题及其解决方案，并概述了Hive的文件存储和压缩格式。
摘要由CSDN通过智能技术生成

1 hive处理非常小的数据集在执行时也会出现延迟情况
hive 不提供数据排序、查询cache，也不提供在线事务处理、实时的查询功能和记录级的更新。
hive没有专门的存储格式，hive提供了四种数据类型，表、外部表、分区和桶

2 hive外部表和内部表的区别
外部表被external修饰，内部表没有
外部表数据由hdfs管理，内部表数据hive自身管理
外部表只删除元数据，hdfs上数据不删除；内部表删除全部数据包括元数据和存储数据
外部表的表结构和分区修改需要修改msck repair table，内部表的修改可以直接同步到数据。

3 hive对数据的验证不在加载数据时进行，而是在查询时进行，查询时对于不符合要求的数据会以NULL的形式显示给用户，称为读时模式。

4 hive隐式类型转换规则
任何整数类型可以隐式的转换为范围更广的类型
所有整数类型、FLOAT、String类型都能转换成Double
INT、SMALLINT、TINYINT都可以转换为FLOAT
Boolean类型不能转换
TIMESTAMP可以隐式转换为String
5 hive中sort by 和order by的区别
order by 是全局排序，之后产生reduce，对于大规模数据来说效率非常低
sort by 是在每个reduce内部进行排序
cluster by=distribute by+sort by
distribute by 按照指定的字段对数据进行划分输出到不同的reduce中
6 分区
依据分区列的值对表进行粗

最低0.47元/天 解锁文章
进阶中的程序猿
关注
hive中内、外部表以及修改表操作
little_sloth的博客
07-13 3712
hive中内部表和外部表 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。hive的数据表分为内部表跟外部表。 一、内部表（管理表） HDFS中为所属数据库目录下的子文件夹。数据完全由Hive管理。删除表（元数据）会删除数据 创表语句： create table if not exists studennt( id int, name strin
Hive基础知识大全
木樨
06-04 470
一、Hive基本概念 1.1、Hive简介 什么是Hive   Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。   其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。 为什么使用Hive 直接使用hadoop所面临的问题： 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 为什么要使用Hive
Hive表的定义，删除、修改
敲烂键盘为止
09-04 4258
Hive表的定义、删除 创建表 只涉及简单的建表，不涉及分区等复杂操作。 1. 建表语句 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name da...
Hive建外表操作以及其它修改表操作 hive外表与内表区别
m0_57382185的博客
05-09 3939
hive创建外表，分区的删除、查看操作，一些插入，重命名和删除操作 数据类型map和struct的创建表操作
hive建外部表时location修改问题
u011250186的博客
05-13 3324
一、有一次建外部表的时候，忘记设置location create external table test.ads_education_course_feature_dm ( course_id string comment '课程id', course_name string comment '课程name', detail_browser_times string comment '详情页浏览次数', exposure_convert_borwser_rate string commen...
Hive中连接方式小结
阿生
03-15 2815
连接方式可以分为一下几种 等值连接 不等值连接 外连接（又可分为左外连接和右外连接） 自连接（确切的来说自连接应该是程序员的一种技巧） 等值连接和不等值连接需要使用到的数据和表 --emp表------------------------- create table emp( deptno int, id int, name string, sal int )row for...
hive基础知识总结
09-18
### Hive基础知识总结 #### 一、Hive服务 Hive是一个建立在Hadoop之上的数据仓库工具，主要用于处理大量结构化数据集。它提供了类似SQL的查询语言（HiveQL）来简化数据处理任务。Hive的核心服务主要包括CLI、...
hive基础知识复习笔记.zip
05-11
以下是对Hive基础知识的详细阐述： 1. **Hive架构**： Hive的核心组件包括：Hive Metastore、Driver、Compiler、Executor和HDFS。Metastore存储元数据，如表结构、分区信息等；Driver接收查询，编译HQL为执行计划...
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
Hive 修复分区 msck repair table
大数据同盟会的博客
11-22 8395
Hive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair tableHive 修复分区 msck repair table
Hive详解之内表、外表和分区
lixinkuan的博客
10-05 3792
总结： 一、Hive的内表 Hive 的内表，就是正常创建的表，没有使用关键字External 二、Hive的外表 创建Hive 的外表，需要使用关键字External： CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_com...
hive sql alter table 修改表操作小记
qq_41018861的博客
01-06 4351
ALTER TABLE仅仅会修改表的元数据，但是不会对表数据本身作任何修改 有全量表如下： create external table test.class_info( class string, student array<string>, user_info map<string, int>, position struct<province:string, city:string, district:string> ) row format delimi.
Hive DDL & 内部表与外部表
呼呼的小窝
10-06 1027
Database DDL操作 DDL Data Definition Language(即数据的定义语言) create/delete/alter等操作，与关系型数据库中的DDL非常类似，几乎是一样的 官网：https://cwiki.apache.org/confluence/display/Hive/Home DDL：https://cwiki.apache.o...
Hive基本操作(外部表，分区表，分桶表，修改表，加载导出数据)
bitmao888的博客
04-19 1278
文章目录创建数据库与创建数据库表启动服务端启动客户端创建数据库创建数据库并指定hdfs存储位置修改数据库查看数据库基本信息查看数据库更多详细信息删除数据库创建数据库表操作hive建表Hive建表时候的字段类型创建表并指定字段之间的分隔符根据查询结果创建表（包含结果和内容）根据已经存在的表结构创建表外部表外部表说明管理表和外部表的使用场景操作案例创建老师表创建学生表从本地文件系统向表中加载数据，不加...
修改hive表结构
程序员小祝的博客
09-28 3534
1)修改表名： ALTER TABLE ndiip_online.xx RENAME TO ndiip_online.yy; 2)修改字段 ALTER TABLE ndiip_online.xx CHANGE COLUMN 旧列名 新列名 新数据类型 ; 3）增加列 ALTER TABLE ndiip_online.xx ADD COLUMNS ( 新列名 数据类型 COMMENT ’ 列名注释 ’ ); 4）删除hive表的分区 ALTER TABLE ndiip_online.xx DROP P
hive 修改表结构
求知：数据科学家之路
12-22 2273
hive表结构修改本期介绍hive中关于表结构的修改修改表名修改字段调整字段的位置增删字段综合操作 本期介绍hive中关于表结构的修改 在工作中，有时候会遇到老表的数据已经不能支持新的业务需求，若是重新创建一个表来承载，稍微麻烦，若是用旧表来写数据，就需要对旧表做调整。下面的内容就是介绍如何对hive表结构做修改 基本操作 修改表名 rename to ALTER TABLE old_ta...
[hive]外部分区表结构变更后查询为空问题解决
loaDforK的抄抄写写
04-21 1006
0X00 前提 数仓技术选型：hive+sqoop1.4.4 场景：数仓中ods增量表由于上游db表变更缘故，需要对应地增加两个字段，一般使用alter table table_name add columns(column_name type comment '');的方式来直接在hive中增加字段。但由于上下游之间信息传达、沟通不到位，导致在上游db的源表已经增加表字段数天后，数仓相关部门才收...
hive之数据修改
热门推荐
听了个听儿
05-25 1万+
内部表 VS 外部表 Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。所以，建议创建外部表删除分区删分区，不会删底层数据，需要覆盖所以，要用 insert overwrite...
Hive专题-数据修复篇
进击吧大数据的博客
12-25 3061
相信使用过Hive的同学，一定会知道msck repair的用途（元数据修复）。那么不知道大家有没有好奇过Hive底层是怎么实现该机制的呢？这里带大家简单了解一下。 一、基本解释 在HMS(Hive MetaStore)中存储着每个表的分区列表，但如果一个新的分区通过HDFS直接添加或者删除的话，那么元数据是不会感知到这些分区信息的变化，这个时候可以通过Alter table table_name add/drop partition命令来手动增加或者删除分区。除了alter命令之外呢，还可以通过msck
hive基础知识选择题
最新发布
07-03
### 回答1： Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似SQL的查询语言，用于将结构化数据存储在Hadoop集群上，并进行查询和分析。下面是一些关于Hive基础知识的选择题： 1. Hive的主要特点是什么？ a) 提供类似SQL的查询语言 b) 可以在Hadoop集群上进行数据存储和分析 c) 可以处理结构化和半结构化数据 d) 所有选项都正确 答案：d) 所有选项都正确 2. Hive将数据存储在哪里？ a) HBase b) Hadoop Distributed File System (HDFS) c) Cassandra d) MySQL 答案：b) Hadoop Distributed File System (HDFS) 3. Hive中的表可以与以下哪种文件格式关联？ a) CSV b) JSON c) Parquet d) 所有选项都正确 答案：d) 所有选项都正确 4. Hive使用什么来对数据进行分区和排序？ a) HDFS b) Tez c) MapReduce d) Apache Spark 答案：c) MapReduce 5. Hive中的数据查询和分析通过什么来实现？ a) Hive Query Language (HQL) b) Structured Query Language (SQL) c) Apache Hive d) Apache Hadoop 答案：a) Hive Query Language (HQL) 总之，Hive是一个基于Hadoop的数据仓库工具，具有类似SQL的查询语言，可以在Hadoop集群上存储和分析结构化和半结构化数据。它使用HDFS来存储数据，可以与多种文件格式关联，并使用MapReduce来进行数据分区和排序。数据查询和分析通过Hive Query Language (HQL)来实现。 ### 回答2： Hive是一款基于Hadoop的数据仓库工具，它提供了方便的数据查询和分析的功能。接下来我将回答一些关于Hive基础知识的选择题。 1. Hive中的表是如何定义的？ 答案：C. 使用HiveQL语句创建表。 2. 在Hive中，数据是如何存储的？ 答案：B. 在Hadoop的HDFS文件系统中。 3. Hive中的分区是用来做什么的？ 答案：A. 对数据进行逻辑上的划分，便于查询优化和数据管理。 4. 在Hive中，可以使用哪种语言进行数据查询？ 答案：D. HiveQL。 5. 在Hive中，用来处理复杂逻辑和数据运算的是什么？ 答案：B. Hive的UDF（用户定义函数）和UDAF（用户定义聚合函数）。 6. Hive的数据存储格式有哪些？ 答案：A. 文本文件（TextFile）、序列文件（SequenceFile）和Parquet等。 7. Hive表中的数据可以通过什么方式进行加载？ 答案：C. 使用Hive的LOAD DATA语句。 8. 在Hive中，用来创建管理表结构的是什么？ 答案：B. Hive的元数据存储。 9. Hive的优势是什么？ 答案：C. 简化了对Hadoop数据的查询和分析。 10. 使用Hive时，可以通过什么方式进行数据的导入和导出？ 答案：D. 使用Hive的导入和导出命令。 以上是关于Hive基础知识的一些选择题的答案。Hive是一个功能强大且易于使用的工具，可以帮助用户更好地处理和分析大数据。掌握Hive基础知识对于进行数据仓库的建设和数据分析工作非常重要。 ### 回答3： Hive是一个开源的数据仓库基础架构，运行在Hadoop集群上。以下是关于Hive的基础知识选择题的回答： 1. Hive中的数据存储在哪里？ 答：Hive中的数据存储在Hadoop分布式文件系统(HDFS)中。 2. Hive中的数据是如何组织的？ 答：Hive中的数据是以表(Tables)的形式进行组织的。 3. Hive中的表的结构是如何定义的？ 答：Hive中的表的结构是通过DDL语句来定义的，包括表的名称、列名称、数据类型等信息。 4. Hive中的查询语言是什么？ 答：Hive中的查询语言类似于SQL，称为HiveQL或HQL。 5. Hive中的查询语句是如何转换为MapReduce作业的？ 答：Hive将查询语句转换为逻辑查询计划，然后将逻辑查询计划转换为物理查询计划，最后将物理查询计划转换为MapReduce作业。 6. Hive中的分区表是什么？ 答：Hive中的分区表是按照一个或多个列的值分成不同的目录，并且每个目录下存储相应分区的数据。 7. Hive中的桶是什么？ 答：Hive中的桶是将数据分成固定数量的文件的一种方式，目的是提高查询性能。 8. Hive中的内部表和外部表有什么区别？ 答：内部表的数据和元数据都由Hive管理，删除内部表时会删除表的数据；而外部表的数据和元数据存储在外部的文件系统中，删除外部表时只会删除元数据。 9. Hive中的UDF是什么？ 答：UDF全称为用户定义函数(User-Defined Functions)，是由用户自定义的用于特定数据处理操作的函数。 10. Hive中的压缩是如何实现的？ 答：Hive中的压缩是通过执行MapReduce作业时将数据进行压缩，以减少数据的存储空间和提高查询性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值