hive 内外部表加载hdfs数据位置情况

最新推荐文章于 2024-01-27 22:57:21 发布
最新推荐文章于 2024-01-27 22:57:21 发布
阅读量885 收藏 2
点赞数 1
分类专栏： 数仓 文章标签： hdfs hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zahuali/article/details/113976144
版权
本文详细介绍了Hive中内部表和外部表加载HDFS数据的情况。对于内部表，LOAD DATA操作会导致HDFS数据移动到hive表目录/user/hive/warehouse下；而外部表则保持数据在原有HDFS路径不变。通过直接指定location，无论内部还是外部表，数据位置都不会受到影响。
摘要由CSDN通过智能技术生成

hive 表加载hdfs数据

情况1：
创建内部表
create table if not exists tmp.testa (merchant_id string) stored as parquet;
在这里插入图片描述
加载前hdfs数据

导入数据
LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-01’ INTO TABLE tmp.testa
在这里插入图片描述
总结：创建内部表 load 数据 hdfs数据会进行迁移 迁移位置 到了 hive表目录/user/hive/warehouse/tmp.db

情况二
创建外部表
create external table if not exists tmp.testb (merchant_id string) stored as parquet;

加载前hdfs数据
在这里插入图片描述
LOAD DATA INPATH ‘/hive_log/basis_report_data/2021-02-02’ INTO TABLE tmp.testb

在这里插入图片描述

最低0.47元/天 解锁文章
zahuali
关注
专栏目录
hive external table partition 关联HDFS数据
懒散狂徒的专栏
10-26 3173
EXTERNAL 外部表 在建表的时候制定一个指向实际数据的路径(LOCATION) hive创建内部表时，会将数据移动到数据仓库指向的路径；           创建外部表时，仅记录数据所在的路径，不对数据的位置做任何改变， 在删除表的时候：     内部表的元数据和数据会被一起删除，     而外部表只删除元数据，不删除数据。 HDFS中已经导入了城市日期数据文件。 /u
Hive建表语句Location与HDFS创建目录
Time_Needer的博客
07-21 2191
建外部表使用LOCATION，读取到数据，同时插入数据，会在LOCATION位置新生成文件000000_0，然我删除外部表，数据文件还在，证明外部表功能还在。 我建内部表使用LOCATION，读取到数据，同时插入数据也会生成新文件，但如我删除内部表，数据文件都会消失，整个目录都会删除掉，也正好符合内部表的功能。 我建立外部表，不使用LOCATION，会在默认在/hive/warehouse/数据库名称/表名 建立目录，然后插入数据，会生成新文件，删除表。目录和文件都还在。符合外部表功能。 建立内部表，不使.
如何查看hive表在hdfs中的位置
热门推荐
HappyRocking的专栏
06-11 2万+
在 hive 环境下使用命令： hive> show databases; # 查看所有的数据库 OK app dev hive> use dev; # 选择dev数据库 OK hive> show create table test_table; # 打印创建表的sql语句 sql语句中有一项为 LOCATION，即为此表在 hdfs 中的位置，如： LOCATI...
Hive操作语句的使用实例讲解
weixin_34041003的博客
02-06 268
#创建表人信息表person(String name,int age)hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE;OKTime taken: 0.541 seconds#创...
创建Hive外部表，关联HDFS文件
攻城狮Kevin
08-22 4812
适用于HDFS中存放结构化数据的场景， 先建一张外部表 CREATE EXTERNAL TABLE IF NOT EXISTS `ds_smart_log_idmapping`( `id` string COMMENT '包含wimei、wuser、telep、dimei和idfa', `ffaid` string COMMENT 'ffaidXXX', `timeStamp`...
hive中内、外部表以及修改表操作
little_sloth的博客
07-13 3698
hive中内部表和外部表 hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。hive的数据表分为内部表跟外部表。 一、内部表（管理表） HDFS中为所属数据库目录下的子文件夹。数据完全由Hive管理。删除表（元数据）会删除数据 创表语句： create table if not exists studennt( id int, name strin
hive中创建内外部表以及如何分区使用（超详细）
weixin_49165958的博客
12-09 2525
目录一.hive表的分类1.内部表2.外部表3.内外部表的区别二hive表的分区使用1.静态分区1.单级分区2.多级分区2.动态分区3.静态分区和动态分区的区别 首先，我们有一个路径为/opt/software/employee_id.txt的文档，内容如下： Michael|100|Montreal,Toronto|Male,30|DB:80|Product:DeveloperLead Will|101|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead Ste
hive外部表改为内部表_Hive内部表与外部表的区别
weixin_42631411的博客
01-13 475
1.未被external修饰的是内部表【managed table】，被external修饰的为外部表【external table】。2.内部表数据由Hive自身管理，外部表数据由HDFS管理。3.内部表数据存储在hive.metastore.warehouse.dir【默认:/user/hive/warehouse】，外部表数据存储位置由用户自己决定。4.删除内部表会直接删除元数据【metad...
Hive的内部表、外部表、分区表和分桶表
cc876的博客
09-28 1652
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 ...
HDFS关联到hive外部表，并实现查询返回结果
sinat_26566137的博客
05-20 807
背景 现在已知有hdfs的分区文件，想创建一个hive外部表查询数据； 解决方式 解决方式1（亲测有效，推荐） 1）首先创建hive外部表； CREATE TABLE dw.tab_a ( `id` bigint, `created_dt` string, `CRE_DATE` date, `UPD_DATE` TIMESTAMP, `CRE_USER` string, `UPD_USER` string ) PARTITIONED BY (`dt` str
Java将hive数据导入到hdfs_把HDFS上的数据导入到Hive中
weixin_35645652的博客
02-26 533
1. 首先下载测试数据，数据也可以创建http://files.grouplens.org/datasets/movielens/ml-latest-small.zip2. 数据类型与字段名称movies.csv(电影元数据)movieId,title,genresratings.csv(用户打分数据)userId,movieId,rating,timestamp3. 先把数据存放到HDFS上hd...
hive location更新&hive元数据表详解
赵英超的博客
09-11 1425
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。hive分为内部表和外部表，两种表修改路径方式不一样。
Hive内部表和外部表
TRX的博客
01-19 3496
Hive表分为两类，即内部表和外部表。 内部表（managed table） 所谓内部表（managed table）即Hive管理的表，Hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建Hive内部表时，数据将真实存在于表所在的目录内，删除内部表时，物理数据和文件也一并删除。 外部表（external table） 外部表（external table）则不然，其管理仅仅是在逻辑和语法意义上的，即新建表仅仅是指向一个外部目录而已。同样，删除时也并不物理删除外部目录，而仅仅是
Hive Load装载数据与HDFS的关系
CharlesCFA的博客
02-19 1659
装载数据：LOAD移动数据 LOCAL：指定文件位于本地文件系统 ；OVERWRITE表示覆盖现有数据 使用方法： -- load数据格式 LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/employee.txt' OVERWRITE INTO TABLE employee; -- 方式一：LOCAL表示文件位于本地，OVERWRITE表示覆盖现有数据 LOAD DATA LOCAL INPATH '/home/dayongd/Downloads/empl
Hive外部表详解以及案例演示
小白
06-09 1447
什么叫外部表 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。 外部表的特性 （1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 （2） 对外部表的访问可以通过SQL语句来完成，而不需要先将外部表中的数据装载进数据库中。 （3） 外部数据表都是只读的，因此在外部表不能够
hive内部表和外部表
iKuboo
09-04 270
内部表创建方法： create table student( id int, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 使用desc formatted student; 查看表的描述信息，Table Type =MANAGED_TABLE ，说明该表为内部表 在准备hdfs的/opt/tes...
5.Hive表修改Location，一次讲明白
最新发布
每天进步一点点
01-27 2714
Hive中偶尔会遇到需要调整表Location的情况，这篇文章给出了相应的解决方案，以供参考。
hive ,从hdfs把数据文件load导入到表
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 2万+
hive> load data inpath 'hdfs://ns1/abc/sales_info/hello/sales_info.txt' overwrite into table sales_info partition(dt = '2019-04-26'); 1 原数据文件（已经不存在了，是从原路径移动到了新路径下）： 如果从本地导入后本地的原数据文件依然存在，相当于复制过去；...
大数据面试题资料：Hive内外部表区别及创建流程详解
也就是说，外部表的数据仍然存储在原来的位置，而Hive只是在元数据中记录了数据的位置。所以，删除外部表只会删除元数据，不会删除数据本身。外部表适用于那些数据需要与外部共享、或者数据存储在其他系统中的情况。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值