hive中创建内外部表以及如何分区使用（超详细）

最新推荐文章于 2024-08-20 19:18:56 发布
最新推荐文章于 2024-08-20 19:18:56 发布
阅读量2.5k 收藏 12
点赞数
文章标签： hive 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49165958/article/details/110930411
版权
本文详细介绍了Hive中的内部表和外部表的创建及数据上传，包括内部表与外部表的区别。同时，文章深入探讨了Hive表的分区使用，包括静态单级和多级分区以及动态分区的设置和操作，展示了不同分区方式的数据加载和查询结果，强调了静态与动态分区的主要区别。
摘要由CSDN通过智能技术生成

目录

首先，我们有一个路径为/opt/software/employee_id.txt的文档，内容如下：

Michael|100|Montreal,Toronto|Male,30|DB:80|Product:DeveloperLead
Will|101|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead
Steven|102|New York|Female,27|Python:80|Test:Lead,COE:Architect
Lucy|103|Vancouver|Female,57|Sales:89,HR:94|Sales:Lead
Mike|104|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead
Shelley|105|New York|Female,27|Python:80|Test:Lead,COE:Architect
Luly|106|Vancouver|Female,57|Sales:89,HR:94|Sales:Lead
Lily|107|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead
Shell|108|New York|Female,27|Python:80|Test:Lead,COE:Architect
Mich|109|Vancouver|Female,57|Sales:89,HR:94|Sales:Lead
Dayong|110|Montreal|Male,35|Perl:85|Product:Lead,Test:Lead
Sara|111|New York|Female,27|Python:80|Test:Lead,COE:Architect
Roman|112|Vancouver|Female,57|Sales:89,HR:94|Sales:Lead
Christine|113|Montreal|Male,35|Perl:85|Product:Lead,
最低0.47元/天 解锁文章
Mr.梧桐
关注
Hive07：Hive的进阶操作03之Hive中的表类型：内部表、外部表、分区表、桶表以及视图
weixin_40612128的博客
03-05 1432
Hive中的表类型 在Mysql中没有表类型这个概念，因为它就只有一种表。 但是Hive中是有多种表类型的，我们可以分为四种，内部表、外部表、分区表、桶表 下面来一个一个学习一下这些类型的表
Hive的内部表、外部表、分区表和分桶表
cc876的博客
09-28 1658
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。 ...
hive外部表使用分区partition
热门推荐
竹叶青 的专栏
07-03 1万+
1）创建外部表 create external table test(username String,work string) PARTITIONED BY(year String, month String, day String) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/tmp/test/';      2）修改表创建
9.16 hive基础语法
weixin_45355124的博客
09-16 269
Hive基础语法 HiveServer和beeline（HiveServer2）的区别： hive不需要启动服务再访问 beeline需要启动服务端，在访问客户端 beeline在查询效率上比hive高，beeline不支持update和delete hive： 连接方式 hive -h hostname -p port 加载文件 将本地文件上传到指定的存储路径中表就可以读取到数据（需要和表结构匹配） 使用load命令 load data local inpath 'local_dir
学习大数据DAY41 Hive 分区表创建
最新发布
shh2000424的博客
08-20 1294
索引（相当于应用“看到”的只是一个表或索引），但在物理上这个表或索引可。分区对应用透明，即对访问数据库的应用而言，逻辑上讲只有一个表或一个。注意：如果删除的分区是表中唯一的分区，那么此分区将不能被删除，要想。4 将第二部的数据 使用动态分区的方法 导入到 第三步的表中。分区是将一个表或索引物理地分解为多个更小、更可管理的部分。注意：以上添加的分区界限应该高于最后一个 分区界限。的节点上，最大一共可以创建多少个动态分区。模式表示允许所有的分区字段都可以使用动态。的节点上，最大可以创建多少个动态分区。
hive 分区表、桶表和外部表
张波的技术积累
01-14 9036
1：分区表      图：创建分区表       图：导入数据         图：在HDFS的显示信息 分区字段就是一个文件夹的标识      图：在多列上创建分区       图：导入数据                  图：在多列上建立分区后在HDFS上形成的结构信息 把表中的大多数字段建立为分区字段，可行吗？分区不是越多
Hive---外部分区表的创建
helloxiaozhe的博客
06-23 1万+
Hive---外部分区表的创建（1）假设有个分区表，数据如下：hive> show create table partition_parquet; OK CREATE TABLE `partition_parquet`( `member_id` string, `name` string, `add_item` string) PARTITIONED BY ( `stat_d...
Hive 外部表 分区表
aodiyi6351的博客
07-22 168
之前主要研究oracle与mysql，认为hive事实上就是一种数据仓库的框架，也没有太多另类，所以主要精力都在研究hadoop。hbase，sqoop，mahout，近期略微用心看了下hive。事实上hive还是比我想象中好用的多，心里有点点暗爽，不论是与hadoop的衔接，还是在对外查询分析，定期hsql生成报表方面，都很方便。能够不用mapreduce。直接用hive生...
Hive 之 管理表、外部表、分区表
恋梦轩
04-01 767
记录了 Hive 工具的管理表、 外部表、 分区表的相关操作。
hive建库，建表，以及内外部表，分区表，分桶表
a13813972564的博客
07-08 917
hive建库 建库语法 创建一个hive的数据库，就会默认创建一个对应的文件夹在这个路径下面 hive.metastore.warehouse.dir /user/hive/warehouse create database;语法 查看数据库信息 查看数据库基本信息 desc database myhive2; 查看数据库更多详细信息 desc database extended myhive2; hive建表 [(col_name data_type [COMMENT col_commen
hive外部表创建
08-23
Hive之管理表 外部表 分区表
happy19870612's blog
10-29 2462
一Hive 创建表的三种方式 1.1普通创建 1.2查询语句创建 CREATETABLE IF NOT EXISTS ext_1 AS SELECT deptno,dname,loc FROMdept; 1.3like创建 CREATETABLE IF NOT EXISTS ext_like like emp; 二 内部表与外部表的比较 Hive表概念和关
Hive--DDL之创建表（内外部表，分区表）
weixin_42051673的博客
03-01 1587
Hive——DDL之创建表（内外部表，分区表）DDL之创建表命令1.内部表（管理表）1）普通命令创建2）根据查询结果创建3）根据已经存在的表创建表结构2.外部表1）使用命令创建2）使用desc命令查看表3)drop掉外部表，查看HDFS上表数据4）内部表和外部表互相转换3.分区表1）普通命令创建分区表2）静态分区插入3）动态分区插入 DDL之创建表命令 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMM
Hive应用：外部分区表
qq_27552579的博客
05-18 1425
Hive应用：外部分区表 介绍 Hive可以创建外部分区表。创建表的时候，分区要在建表语句中体现。建完之后，你不会在表中看到数据，需要进行分区添加，使用alter语句进行添加。然后数据才会显示。 样例 有如下的目录结构。 建表语句： create external table Tbl_Custom(CustomID int,AreaID int,Name string,Gender int) partitioned by(city string) row format delimited fields te
hive创建外部表
dd1296的博客
07-07 1万+
#hive中的表分为内部表和外部表 内部表（管理表） HDFS中为所属数据库目录下的子文件夹 数据完全由Hive管理，删除表(元数据)会删除数据 外部表（External Tables） 数据保存在指定位置的HDFS路径中 Hive不完全管理数据，删除表(元数据)不会删除数据 创建外部表 内部表基本上与mysql中的操作相同，只要你会sql语句，hive的内部表就没有什么问题。 主要是外部表： 外部表可以帮助我们把一些txt或者日志文件进行数据化处理。 1、使用hive之前首先要把hadoop，mysql和
Hive的内部表、外部表、分区表、分桶表
shuyv的博客
12-15 2212
文章目录内部表和外部表的区别区别Hive分区表实现细节分区表综合练习（1）需求描述：（2）数据准备：（3）创建外部分区表，并且指定文件的存放位置（4）进行表的修复（建立表与数据文件之间的一个映射关系）Hive桶分桶表操作（1）开启Hive的分桶功能（2）设置Reduce个数（3）创建分桶表 内部表和外部表的区别 创建表时，如果没有使用external关键字，则该表是内部表（managed table） 被external关键字修饰的是外部表（external table） 区别 内部表数据由Hive自身管
Hive【内部表、外部表、临时表、分区表、分桶表】【总结】
xiayuhaisong的博客
02-19 2488
分区提供了一个隔离数据和优化查询的可行性方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能导致很多分区上没有数据。分桶表会将指定的列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket中。分区表和分桶表的本质都是将数据按照不同粒度进行拆分，从而使得在查询的时候不必扫描全表，只需要扫描对应的分区或分桶，从而提升查询的效率。如果查询的where子句中包含分区条件，则直接从该分区查找，而不是扫描整个目录，合理的分区可以极大的提高查询速度和性能。
Hive DDL 指南：创建与管理表
- `EXTERNAL TABLE` 关键字表示创建的是外部表，外部表的元数据由Hive管理，但数据存储在用户指定的HDFS路径上，删除表时不会删除数据。 2. 表属性（COMMENT） - `COMMENT` 用于为表或列添加注释，提供对表或列的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值