hive内部表外部表的挂载数据、删除数据及修改原数据

最新推荐文章于 2024-07-06 02:09:50 发布

CodingWithGakki

最新推荐文章于 2024-07-06 02:09:50 发布

阅读量1.3k

点赞数 1

分类专栏： bigdata 文章标签：大数据 hive

本文链接：https://blog.csdn.net/qq503465877/article/details/108861977

版权

本文详细介绍了Hive内部表和外部表在挂载数据、删除数据及修改原数据时的不同行为。包括如何创建、加载、查询、删除表，并探讨了数据在不同操作下的状态变化，为Hive使用者提供了实用的踩坑指南。

摘要由CSDN通过智能技术生成

hive内部表外部表的挂载数据、删除数据及修改原数据

各种细节,一一帮你踩坑

原数据

1700 Beijing
1800 London
1900 Tokyo

建立外部表：

create external table student
id int
name strin
)row format delimited fields terminated by ' '

加载本地数据：

load data local inpath '/root/data/student.txt' into table student

此时数据位于集群中/user/hive/warehouse/external_test.db/student/下，且查询表正常

若在集群中修改数据，此时查询表得到插入后的结果

若drop表，则show不到此表，但集群中/user/hive/warehouse/external_test.db/student/下仍存在原数据

hive中重新建名为student的表，未加载数据，select查询，数据仍可查到

在集群中删除/user/hive/warehouse/external_test.db/student/下数据，表仍在，数据为空

将student文件夹删除，表仍在，数据为空

执行修复命令MSCK REPAIR TABLE student，表仍在，数据为空

drop table

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CodingWithGakki

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

07-31

369

三、hive加载CSV格式数据。

mysql数据迁移与同步常用解决方案总结

congge

05-10

6123

mysql数据迁移与同步常用解决方案总结

3 条评论您还未登录，请先登录后发表或查看评论

Hive关于数据表的增删改（内部表、外部表、分区表、分桶表 & 数据类型、分隔符类型）

黄饱饱

08-26

753

建表基本语句格式 CREATE [external] TABLE if not exists student #默认建立内部表，加上external则是建立外部表 (id int COMMENT'学号',sname string COMMENT'用户名',age int COMMENT'年龄')#字段名称，字段类型，字段描述信息 COMMENT '记录学生学号'#表的描述信息 PART...

Hive中连接方式小结

阿生

03-15

2820

连接方式可以分为一下几种等值连接不等值连接外连接（又可分为左外连接和右外连接）自连接（确切的来说自连接应该是程序员的一种技巧）等值连接和不等值连接需要使用到的数据和表 --emp表------------------------- create table emp( deptno int, id int, name string, sal int )row for...

【hive外部表复制】hadoop数据复制及挂载hive外部表

你的博客

06-20

962

场景公司有生产的hadoop（2.7）集群，现在需要搭建新的hadoop（3.1）集群，想要废弃mapreduce，使用其他的运算框架。选择了sparksql和presto需要做测试。那么新的集群是没有数据的，需要从生产导一些数据过来。策略 1.使用hadoop命令从原集群的某个表的文件目录赋值到新的集群目录 2.创建hive表，并分区 3.新的集群文件挂载到hive表 ...

[总结]----Hive数据导入六种方式

James__Tao的博客

09-26

602

Hive数据库和表在HDFS上的目录, 表数据是HDFS上的文件加载本地文件到Hive表中--使用存储介质（移动硬盘）加载数据到表格中 load data local inpath '/home/taojiamin/data/student.txt' into table student; 加载HDFS文件到Hive表中 --通过Flume等日志收集框架

hive删除原外部表，新建新表，同步元数据

lukabruce的博客

01-15

1444

#删除已存在的表 drop table if exists user_data; #新建表 create external table if not exists user_data( user_id string, name string, age int )PARTITIONED BY(ds string) CLUSTERED BY (user_id) INTO 10 BUCKETS R...

数据中台建设方案-基于大数据平台

2301_76549664的博客

03-14

4606

通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。

[数仓]一、离线数仓（日志数据采集）

最新发布

weixin_44428807的博客

07-06

1559

G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。

Hive连接的类型

happy19870612's blog

11-21

1221

一 INNER JOIN 内连接所谓内连接其实就是指基于两张表共有的join 字段的值，进行连接，不相等的值不会出现在查询结果比如用户表和订单表： SELECT* FROM order o INNER JOIN user u ON o.cid = u.id; 内连接的结果就是：内连接分为显示和隐式两种：隐式内连接 SELECT* FROM em

Hive外部表使用创建以及删除测试

鲜橙多的博客

06-23

800

简述： Hive外部表会在指定的路径处创建数据目录（hdfs），在所建的hive库中仍保留表名，但是在hdfs中是看不见的；外部表的查询可以通过所建库下直接查询与内部表无异，跨库则需加上库名； 删除表是删不掉数据的，删除的只是元数据，当给数据附上字段，表名重新创建后还是能直接访问数据。实例： create external table external_test ( id int, name string ) row format delimited fields terminated by '\t'

HIVE中对表的基本操作（包括增加、删除、修改）

ganghaodream的博客

12-12

1814

一、HIVE语句 1.hive复制表结构 CREATE TABLE new_table LIKE old_table; CREATE TABLE adm_d05_content_log_di_olap_test LIKE adm_d05_content_log_di; CREATE external TABLE adm.adm_d05_content_log_di_olap_test LIKE adm.adm_d05_content_log_di location 'hdfs://ns8/user/dd_e

hive基础知识

x18845040365的博客

03-19

214

1 hive处理非常小的数据集在执行时也会出现延迟情况 hive 不提供数据排序、查询cache，也不提供在线事务处理、实时的查询功能和记录级的更新。 hive没有专门的存储格式，hive提供了四种数据类型，表、外部表、分区和桶 2 hive外部表和内部表的区别外部表被external修饰，内部表没有外部表数据由hdfs管理，内部表数据hive自身管理外部表只删除元数据，hdfs上数据不删除；内部表删除全部数据包括元数据和存储数据外部表的表结构和分区修改需要修改msck repair table，内

hive sql alter table 修改表操作小记

qq_41018861的博客

01-06

4387

ALTER TABLE仅仅会修改表的元数据，但是不会对表数据本身作任何修改有全量表如下： create external table test.class_info( class string, student array<string>, user_info map<string, int>, position struct<province:string, city:string, district:string> ) row format delimi.

hive外部表/内部表路径知识点

lixia0417mul2的博客

06-12

2601

1.hive创建外部表或者管理表是指定的位置信息是数据路径： create external table location ‘/user/externalhive/location/dir’ 这里只定义到了目录级别，真正查询数据的时候，数据是从该目录下的所有文件中查询出来的 2.load data local inpath ‘/data/to/inputdir’ into table xx partition(dt=‘20210612’) 这里导入数据的时候指定导入的目录也是目录，这个语句会把该目录下的文件

hive中内、外部表以及修改表操作

little_sloth的博客

07-13

3739

hive中内部表和外部表 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。hive的数据表分为内部表跟外部表。一、内部表（管理表） HDFS中为所属数据库目录下的子文件夹。数据完全由Hive管理。删除表（元数据）会删除数据创表语句： create table if not exists studennt( id int, name strin

hive之数据修改

听了个听儿

05-25

1万+

内部表 VS 外部表 Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。所以，建议创建外部表删除分区删分区，不会删底层数据，需要覆盖所以，要用 insert overwrite...

为什么在hive里drop掉表信息后，再创建相同的表，还能再查出原来那张表的数据

Yao1100000的博客

07-27

1870

因为这里你建立的是一个外部表，所以表数据不被hive所有。而且当你创建这个表的时候，表的元数据结构信息，就被保存到了MySQL备份了，所以当你在hive里drop表的时候就只是drop掉了，表的结构信息，但是这个元数据信息还备份在MySQL里的。MySQL指向的是Hadoop的文件系统，并没有收到丝毫影响。所以当你再去hive里创建这个表的时候，映射到MySQL，发现已经有这个元数据了，而且指向的hdfs上还有数据，所以能直接查出来。 ...

Hive加载数据操作