Hive外部表和内部表的区别(面试题)

最新推荐文章于 2024-04-26 18:40:55 发布
最新推荐文章于 2024-04-26 18:40:55 发布
阅读量213 收藏
点赞数
分类专栏： Hive 文章标签： hive big data mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43586713/article/details/120563283
版权

外部表(External)和内部表(Managed)的区别主要是在于,创建一个表的时候有两部分数据,一部分是data存储在HDFS上,另一部分是Meta元数据,存储在Mysql上.当我们drop删除掉内部表的时候,data和元数据都会被删除.而我们删除外部表的时候,只会删除meta部分的数据.

元数据里面存放的是数据的目录,数据的字段,数据的类型,数据的存放位置,类似索引。外部表是由HDFS自身管理,内部表时由Hive自身管理。

梦里Coding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
最全Hive面试题2024年（2万字详解）
大模型大数据攻城狮的专栏
03-25 616
开发Hive中的UDF需要编写Java类，并实现特定的接口。开发者需要继承类，并实现evaluate方法，该方法定义了函数的逻辑。对于复杂的函数，可能需要实现initialize和close方法来处理资源初始化和清理工作。开发完成后，需要编译成jar包，并使用Hive的ADD JAR命令将jar包添加到Hive会话中。之后，可以使用命令来注册UDF，这样就可以在Hive查询中使用自定义的函数了。需要注意的是，UDF的性能对Hive查询性能有直接影响，因此在开发时应尽量优化UDF的执行效率。
hive外部表和内部表的区别
MicoOu的博客
12-04 303
目录关于库的操作关于外部表和内部表的操作1. 创建外部表【一般HDFS上先有公用数据，再创建外部表进行连接】external2. 创建内部表【一般先创建表，不指定路径，再导入数据】外部表和内部表的区别总结 关于库的操作 创建库 create database if not exists 数据库名; 创建的数据库存放在hive默认的仓库里面（该仓库的位置在当时安装hive的时候指定的位置，在/...
Hive中内部表与外部表的区别
Whett Wilson的博客
09-06 945
Hive中内部表与外部表的区别：  1）创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。 2）删除表时：在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。  创建内部表：  stored as ORC locatio
Hive外部表和内部表的区别
a3125504x的博客
07-07 436
Hive外部表和内部表的区别Hive外部表和内部表的区别 Hive外部表和内部表的区别 创建表语句 外部表：创建表时指定external关键字创建的是外部表 内部表：创建表时不指定external创建的表是内部表，即创建表默认创建的是内部表 存储位置 内部表：内部表默认存储在/user/hive/warehouse处，由配置项hive.metastore.warehouse.dir的值决定 外部表：外部表默认也是存储在/user/hive/warehouse处，使用Location关键字可以指定存
Hive内部表与外部表
weixin_71667809的博客
03-29 517
外部表被drop后，表的metadata会被删除，但是data不会被删除。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。内部表(managed table): 未被external修饰的表，也叫管理表。外部表：删除表会删除表的元数据(metadata)，但不会删除表数据（data）。内部表：删除表会删除表的元数据(metadata)和表数据（data）。
Hive内部表和外部表的区别
airyv的博客
07-15 1万+
主要体现在load与drop（是否同时删除元数据与数据）的操作上： 创建表： Hive创建内部表时，会将数据移动到数据仓库指向的路径，hive管理数据的生命周期； Hive创建外部表时，仅记录数据所在的路径，不对数据的位置做任何改变。 删除表： Hive删除内部表时，内部表的元数据和数据会一起被删除，同时对于一些hive操作不适应于外部表，比如单个查询语句创建表并向表中插入数据。 Hive删除外部表时，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。创建外部表时，甚至不
大数据组件 Hive 面试题 + Hive 高频面试题
02-10
Hive中的表类型分为内部表和外部表。内部表的生命周期由Hive管理，删除时会一同删除数据，适合用于独立使用；而外部表仅删除元数据，原始数据保留，适用于与其他工具共享数据。 接下来是Hive中的排序与分区操作。`...
大数据面试之Hive SQL经典面试题
最新发布
涛声依旧, 万古流名
04-26 2380
请注意，这种方法并没有真正地将行转换为独立的列，而是将多个行的值合并到了一个字符串中。在Hive中，由于schema是静态的，将任意数量的行转换为固定数量的列是不直接支持的。如果知道商品ID的最大数量，并且这个数量是固定的，可以使用条件聚合和。然后，在外部查询中，筛选出序列号小于等于 N 的记录，即销售额最高的前 N 个记录。希望将每个用户的购买记录从行格式转换为列格式，以展示每个用户购买的每个商品。列存储每个订单所购买的商品数组，数组中每个元素都是一个元组，包含商品ID和数量。
Apache Hive面试题
02-19
#### 二、Hive内部表与外部表的区别 1. **定义**： - **内部表**：默认创建的表类型，没有`EXTERNAL`关键字。 - **外部表**：创建时带有`EXTERNAL`关键字。 2. **数据存储位置**： - **内部表**：数据存储在...
hive面试题（Hadoop）
05-25
### Hive内部表与外部表的区别 #### 内部表特性 - **数据管理**：内部表的数据由Hive自身管理，这意味着数据的增删改查等操作完全由Hive控制。 - **存储位置**：默认情况下，内部表的数据存储于`hive.metastore....
Hive外部表学习
BabyFish13
07-12 1139
 Hive中内部表与外部表的区别： Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 需要注意的是传统数据库对表数据验证是 schema on write（写时模
hive内部表和外部表的区别
qq_36770189的博客
08-19 795
1.建表语句不同，外部表建表被external修饰。内部表没有。 3.存储位置不同，内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定； 3.内部表数据由hive本身管理，外部表数据由HDFS管理，因此删除表的时候不同，内部表会把所有的数据都删除，外部表只会删除掉MySQL中的元数据信...
hive外部表与内部表的区别
u013905744的专栏
10-15 219
测试一下，放三个文件到HDFS中 hdfs dfs -mkdir /input hdfs dfs -put student01.txt /input hdfs dfs -put student02.txt /input hdfs dfs -put student03.txt /input 测试1： 现在建立一个外部表来指向这三个文件 create external table ext...
Hive外部表和内部表的区别（案例详解）
清平乐的技术专栏
09-05 928
1.主要区别 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制定； 删除内部表会直接删除...
内部表和外部表的区别
qq_43528451的博客
09-26 1225
内部表和外部表的区别 ​ EXTERNAL关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（Location），Hive创建内部表时，会将数据移动到数据仓库指定的路径下；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删出数据。 ...
Hive内部表和外部表的简单区别
Dream_chang的博客
08-13 4116
Hive外部表和内部表简单区别
Hive 的内部表与外部表有什么区别？
热门推荐
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 建表语法的区别 外部表在创建的时候需要加上=external=关键字 创建表 创建内部表时，会将数据移动到数据仓库指向的路径; 若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变删除表时: 删除表 内部表删除后,表的元数据和真实数据都被删除了 外部表删除后,仅仅只是把该表
hive内部表,外部表区别
Tangerine_bisto的博客
11-06 341
内部表，就是一般的表，前面讲到的表都是内布标，当表定义被删除的时候，表中的数据随之一并被删除。 外部表，数据存在与否和表的定义互不约束，仅仅只是表对hdfs上相应文件的一个引用，当删除表定义的时候，表中的数据依然存在。 创建外部表，external是外部表的关键字，也是和内部表有区别的地方 create external table tblName(col
hive内部表和外部表区别
freefish_yzx的博客
01-24 556
首先我们虚拟理解hive有二个系统，hdfs和hive下的操作查找了啥的， 内部表：删除数据时候 (1)hadoop fs - ls /user/hive/warehouse/table ....是查不到的  ，说明了内部表删除的时候把数据也删除了     (2)hive> hive 查询你的表时候，也是查不到的说明了 内部表删除的时候也把元数据删除了 外部表：删除数据的时候（1）Had
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦里Coding

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值