hive 内部表和外部表的区别

最新推荐文章于 2024-07-27 10:23:02 发布
最新推荐文章于 2024-07-27 10:23:02 发布
阅读量940 收藏 1
点赞数 1
分类专栏： hive 文章标签： hive sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengpenhhh/article/details/112629792
版权
本文介绍了Hive内部表和外部表的主要区别，包括元数据管理和数据删除行为。内部表在删除时会同时移除元数据和数据，而外部表仅删除元数据，数据在HDFS中保留。对于临时操作和数据安全性，内部表和外部表各有优势。外部表的路径可自定义，有利于权限控制。在创建和删除外部表时需要注意数据重复问题，以避免数据丢失或冗余。
摘要由CSDN通过智能技术生成

hive 内部表和外部表的区别

  1. 内部表没有external 关键字

  2. 内部表可以不指定 location关键字，当然hivesql执行外部表是也可以不指定，但是一般不这么用，sparksql，执行时不指定会报错

  3. 内部表删除表时，直接删除元数据以及实际数据，外部表则只会删除元数据，hdfs上保留数据，

    这一条会衍生一些东西

    • 如果建立临时表，一般使用内部表，这样可以直接删除数据，不至于导致数据多余
    • 删除外部表时，再create table ，然后insert overwrite 时，会使数据重复一倍，需要注意，这时候需要再insert overwrite一次，
    • 外部表数据是hdfs控制，更加安全

  4. 由于外部表的路径可以指定，不会跑到默认的/user/hive/warehouse下面去，所以权限更加好控制

pengpenhhh
关注
专栏目录
Hive部分：hive中内部表和外部表的区别
wyqwilliam的博客
07-16 3109
以下是官网中关于external表的介绍： A table created without the EXTERNAL clause is called a managed table because Hive manages its data.  Managed and External Tables  By default Hive creates managed tables, where ...
Hive中内部表与外部表的区别
Whett Wilson的博客
09-06 947
Hive中内部表与外部表的区别：  1）创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。 2）删除表时：在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。  创建内部表：  stored as ORC locatio
Hive内部表和外部表的区别
最新发布
My_wife_QBL的博客
07-27 822
内部表和外部表是 Hive 中两种重要的表类型，它们在数据存储、生命周期、数据共享和迁移等方面存在显著差异。内部表适用于数据完全由 Hive 管理，数据生命周期短，不需要与其他系统共享数据的场景。外部表适用于数据需要与其他系统共享，数据生命周期长，需要长期保留的场景。在实际应用中，用户应根据具体需求和场景选择合适的表类型。例如，对于完全由 Hive 管理的数据，可以选择内部表；对于需要与其他系统共享的数据，可以选择外部表。
Hive外部表学习
BabyFish13
07-12 1141
 Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write（写时模
Hive 内部表和外部表的区别
星空下的那个人影
05-16 2347
未被 external 修饰的是内部表，被external修饰的为外部表 区别： 内部表数据由 Hive 自身管理，外部表数据由 HDFS 管理； 内部表数据存储的位置是 hive.metastore.warehouse.dir (默认：/user/hive/warehouse)，外部表数据存储的位置由自己定制（如果没有location，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里） 删除内部表会直接删除元数据及存储数
Hive内部表和外部表
01-07
一：内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是...
hive内部表与外部表的区别及使用场景
晓晓的天空
04-29 3692
hive内部表与外部表的区别以及使用场景
hive外部表改为内部表_hive 内部表和外部表
weixin_40001245的博客
12-22 1399
转载：https://blog.csdn.net/qq_36743482/article/details/78393678内部表&外部表未被external修饰的是内部表(managed table)，被external修饰的为外部表(external table)；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.wareh...
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 470
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
【大数据Hive】Hive 内部表与外部表使用详解
congge_study的博客
07-15 5992
Hive 内部表与外部表使用详解
Hive内部表（管理表）和外部表的区别【重点】
m0_51697147的博客
12-28 2200
一、内部表和外部表的区别： 内部表和外部表的区别可以从三方面讨论，创建表时、删除表时、选择表时： ...
Hive内部表与外部表
weixin_71667809的博客
03-29 578
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。内部表(managed table): 未被external修饰的表，也叫管理表。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。内部表：删除表会删除表的元数据(metadata)和表数据（data）。
hive内部表和外部表的区别
qq_36770189的博客
08-19 810
1.建表语句不同，外部表建表被external修饰。内部表没有。 3.存储位置不同，内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定； 3.内部表数据由hive本身管理，外部表数据由HDFS管理，因此删除表的时候不同，内部表会把所有的数据都删除，外部表只会删除掉MySQL中的元数据信...
Hive 内部表与外部表
qq_63735758的博客
03-26 797
内部表(managed table): 未被external修饰的表，也叫管理表。外部表(external table):被external修饰的表。
Hive内部表与外部表的区别
weixin_33829657的博客
04-21 118
为什么80%的码农都做不了架构师？>>> ...
hive内部表与外部表区别
weixin_33712881的博客
06-08 166
1.创建内部表与外部表的区别是什么？ 2.external关键字的作用是什么？ 3.外部表与内部表的区别是什么？ 4.删除表的时候，内部表与外部表有什么区别？ 5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？ 6.磁盘，hdfs,hive表他们之间的过程是什么样子的？ 　　相信很多用户...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值