Hive内表和外表的区别

最新推荐文章于 2023-05-29 17:10:33 发布
最新推荐文章于 2023-05-29 17:10:33 发布
阅读量2.3k 收藏 2
点赞数 2
分类专栏： hive 文章标签： hive 内表 外表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/newchitu/article/details/88123948
版权

目录

内表

外表

内表：删表删数据（hdfs上的文件数据）

外表：删表不删数据（hdfs上的文件数据）

 

内表

创建表时没加external，默认是内表

所有的 Table 数据（不包括 External Table）都保存在warehouse这个目录中。

删除表时，元数据与数据都会被删除

创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除

 

外表

包含External 的表叫外部表

删除外部表只删除metastore的元数据，不删除hdfs中的表数据

外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个 外部表 时，仅删除该链接

指向已经在 HDFS 中存在的数据，可以创建 Partition

它和 内部表 在元数据的组织上是相同的，而实际数据的存储则有较大的

adu_ustc
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（二）MySQL-基础
zjm1257219283的博客
07-17 625
MySQL基础
数据库外表
ggxxkkll的专栏
09-01 4849
外表(external table)就像普通的表对像一样，可以select等，只是它是只读的，数据库中只保存了表结构的描述，表数据却没有存放在数据库内，而是存放在了文件系统上。当用户想偶尔使用数据库外的结构化数据时，用起外表来就非常方便，甚至比sqlldr都要方便的多。  外部表是在数据库以外的文件系统上存储的只读表，例如EXCEL、CSV等文件  第一步：创建目录并授权。目录是数据文件的存放
Hive管理表和外部表的区别
01-07
前言： 所谓外部表，就是Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候，如果不指定，则默认创建管理表。如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name查看TABLE TYPE行查看；如果需要创建外部表则需要在创表的语句指定为external，如：create external table table_name。 案例： 1.管理表 我现在有一份名为student.
Hive分区表和分桶表.md
最新发布
08-07
Hive分区表和分桶表，进阶篇
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)] [CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS] [ROW
Hive操作
u013546508的博客
12-23 139
创建外表 备注： 外表：创建表的时候指定了EXTERNAL，外表在删除分区后，hdfs中的数据还存在，不会被删除 内表：创建表的时候未指定，直接使用drop就能把hdfs里的数据删掉） create external table wechat_msg_sentiment ( id bigint comment 'id', text string comment 'call coontent' ) partitioned by (dt string) row format delimited fi
Hive基础篇—02
qq_51628990的博客
07-26 1100
元数据描述数据的数据表分类主要分内表和外表内表元数据和数据本身均被hive管理。删除表则全部删除。外表元数据被hive管理，数据本身存储在hdfs,不受hive管理。删除表则只删除元数据，数据本身不变。建表语句模板建表语句示例idint,)关键词解释创建内部表还是外部表，此为内外表的唯一区分关键字。给字段添加注释给表本身添加注释按哪些字段分区，可以是一个，也可以是多个按哪几个字段做hash后分桶存储用于设定行、列、集合的分隔符等设置显示所有表更改表名增加字段。...
内表，外表
松门一枝花
02-24 9009
一、内表 Internal Table 内表与结构体基本类似，它同样是程序运行中被临时创建的一个存储空间，它是一个可包含多条记录的数据表。 二、外表 外表(external table)就像普通的表对像一样，可以select等，只是它是只读的，数据库中只保存了表结构的描述，表数据却没有存放在数据库内，而是存放在了文件系统上。当用户想偶尔使用数据库外的结构化数据时，用起外表来就非常方便，
hive内表和外表
醉糊涂仙的博客
05-15 5421
真实数据和元数据区分参考博文：https://blog.csdn.net/u010916338/article/details/90247121 一，内表 1，真实数据存放在hdfs上。 2，真实数据存放在hive默认创建的路径下。 如图所示stu就是内表。 3，内表一般都是先创建表再插入数据。 注：采用方式（1）插入数据，创建表不需要指定分割符： cre...
Hive内表和外表浅析
mypowerhere的专栏
04-25 1703
内表由hive完全管理生命周期（元数据+数据）；外表hive只管理元数据的生命周期； 内表删除后，会同步删除元数据（metadata）及数据；外表删除后，仅删除元数据，hdfs上的存储数据文件不会被删除； 内表修改会直接同步给元数据，外表修改（元数据及分区），需要修复表（MSCK REPAIR TABLE table_name） 内表不加external关键字修饰；外表加external关键字修饰； 内表数据存储位置默认是hive.metastore.warehouse.dir（路径：/user/h
Hive中的内部表和外部表
Cxf2018的博客
10-26 691
1.内部表和外部表的区别 内部表：加载数据到Hive所在的Hdfs目录，删除时，元数据和数据文件都删除 外部表：不加载数据到Hive所在的Hdfs目录，删除时，只会删除表结构，相比较之下，外部表更加安全，防止误删数据文件。 2.使用场景 内部表：做统计分析时候用到的中间表，结果表可以使用内部表，这些数据不需要共享，使用内部表更为合适。并且很多时候结果分区表我们只需要保留最近3天的数据，用外部表的时候删除分区时无法删除数据。 外部表：每天采集的ng日志和埋点日志，日志数据是采集程序实时采集进来的，一旦被
Hive内部表和外部表
01-07
一：内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是...
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
Hive内/外表浅析及常用数据导入导出
qq_32812063的博客
01-23 678
内部表/外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table），默认创建内部表； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己指定，若未指...
Hive的内表和外表以及分区表
weixin_30532837的博客
11-04 156
1、 内表和外表的区别 内表和外表之间是通过关键字EXTERNAL来区分。删除表时： 内表：在删除时，既删除内表的元数据，也删除内表的数据 外表：删除时，仅仅删除外表的元数据。 CREATE [EXTERNAL] TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STR...
hive的一些基础知识
Mrs_WuHo_O的博客
03-29 393
Hive 是什么？ Hive 是建立在 Hadoop 上的数据仓库。通俗的说，数据仓库就是用来作为查询 分析的数据库，很少用来插入，修改，删除 当前我们使用的hive版本是2.5.3.0-37 hive中的基本数据类型 数值型：tinyint、smallint、int、integer、bigint、float、double、decimal 日期类型：timestamp（纳秒级时间戳) DAT...
hive外表
RJF20210928的博客
05-29 135
外表的表结构和表数据是解绑的，表相当于定义了去解析相应的文件的规范，删除外表时，hdfs中数据文件不会一起删除；删除内表时，表数据及hdfs中数据文件会一起删除。
HIVE内表与外表的区别
m0_70949976的博客
04-16 1901
hive内外表的区别，主要总结六点区别
hive为什么需要创建内外表
05-05
Hive需要创建内外表的原因是因为Hive是基于Hadoop的分布式存储和计算框架，需要将结构化数据映射到Hadoop的分布式文件系统HDFS中进行存储和管理。Hive内部表和外部表都可以映射到HDFS中的数据，但是它们在数据管理和处理方面有所不同： - 内部表：数据存储在Hive的数据仓库中，如果删除表，数据也会被删除。因此，内部表适用于管理Hive中的临时数据或者中间结果。 - 外部表：数据存储在HDFS上，如果删除表，数据不会被删除。这种表适用于需要与其他应用程序共享数据的场景，或者需要从已有的数据中创建表的场景。 通过创建内外表，Hive可以更好地管理和处理数据，使数据更加可靠和易于维护。同时，内部表和外部表还可以根据需要进行数据导入和导出，方便数据的交换和共享。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值