hive建表手记

最新推荐文章于 2024-04-29 11:58:44 发布
最新推荐文章于 2024-04-29 11:58:44 发布
阅读量3.1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxianghe/article/details/9117035
版权
本文探讨了Hive建表时内部表与外部表的区别，通过实测发现，创建外部表时即使不指定LOCATION，后续也能通过LOAD DATA操作加载数据。而在删除表时，内部表会一并删除数据，外部表则只删除元数据。此外，文中提到了使用CREATE EXTERNAL TABLE的灵活性，可以不断更新目录中的数据并体现在查询结果中。同时，文章介绍了Hive的存储格式，包括TextFile、SequenceFile和RCFile，其中SequenceFile常用于MapReduce过程。
摘要由CSDN通过智能技术生成

hive 建表语法

Create Table
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type
[COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)]
INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]

 

网上有这样的说法：EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。

但实测有出入，使用如下语句：

create external table weblog(accdate string,acctime string,sip string,csmetho
最低0.47元/天 解锁文章
duxianghe
关注
专栏目录
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
hive命令
duzewen的博客
03-22 495
//创建表,external 外部表  $hive>CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int) COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ;  //查看表数据  $hive>desc t
Hive 表定义主键约束
最新发布
Dablelv 的博客专栏。
04-29 1217
在 Hive 中，可以使用 PRIMARY KEY 子句来定义主键约束，以确保表中的每行数据都具有唯一标识。如果一个约束指定 RELY，也就是希望 HIVE 基于代价的优化器 CBO（Cost-Based Optimizer）使用约束信息来获得更好的统计信息，得到更好的执行计划。具体到主键约束，一般主键常用于多表关联查询，利用主键约束，可以删除不必要的连接（ JOIN ELIMINATION），得到更好的执行计划。对于唯一约束，目前 Hive 是不支持的，但是其他一些约束是支持的。
建表和主键操作
夜上窗的博客
01-09 1万+
1.创建表：create table student(                   s_name nvarchar2(20),                   s_sex nchar(2),                   s_age int                ); 消除重复  select distinct 删除表  drop table student;...
hive 建表语句
w201615060094的博客
02-09 332
drop table if exists dcf_lggjk.o_wtssj_lgqwtlyj_v_maintenanceprice_cur; create table if not exists dcf_lggjk.o_wtssj_lgqwtlyj_v_maintenanceprice_cur ( mplid string comment '价格清单id，主键', mplname string comment '维修名称', mpltype string comment '维修类型', ...
Hive建表语句浅析
mypowerhere的专栏
04-25 1690
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(column_name data_type [COMMENT column_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (column_name data_type [COMMENT column_comment], ...)] [CLUSTERED BY (column_name1, column_name2, ...)] [SOR.
sql同步自动生成hive建表语句及注释
08-08
基于oracle或者mysql生成自动建表同步源数据表结构及注释
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍： 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步...
java根据excel生成 hive建表语句
04-20
Java作为企业级应用开发的主要语言，经常被用来处理与数据相关的任务，包括从Excel文件读取数据并生成Hive建表语句。下面我们将详细探讨如何使用Java和Apache POI库来实现这一功能。 首先，Apache POI是Java中处理...
hive中创建带有主键的表要加DISABLE或enable作为约束条件
hellosmile123456的博客
12-21 4305
问题：在hive中创建一个带有primary key的表，发现报错。 create table sqoopstudent1 ( id int primary key, name varchar(20), sex varchar(20), age int, department varchar(20) ); 系统显示报错。 后来查找资料发现，需要在primary key后面加上限制性条件语句。 解决： 语句修改如下： create table sqoopstudent2 ( id int primary
hive语法
cclovezbf的博客
09-06 862
标准的建表语句--外表--依赖表--约束表 hive 3.0.0。
Hive
qq_31783363的博客
11-28 266
一、概述 Hive是Apache提供的基于Hadoop的数据仓库管理工具 Hive提供了类SQL语言来操作Hadoop，底层会将SQL转化为MapReduce来执行，所以效率会比较低 Hive适应于离线处理 要求安装Hive的节点要先安装Hadoop，解压完成之后，在启动Hive的时候自动去找环境变量中的HADOOP_HOME 二、数据库和数据仓库 数据库 数据仓库 数据量 <=GB &...
hive建表、Partition key设置、insert
weixin_43792309的博客
06-03 1074
drop table if exists ccs_table; create table if not exists ccs_table (id string comment '客户号‘， data_date string comment '数据日期’） partitioned by (data_dt string); 插入内容到 ccs_table set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nons
hive中几种唯一主键的选择和优劣比较
shuimofengyang的博客
07-23 2万+
hive表是没有主键的，但在建表时最好加一个主键，方便查询。联合主键另说，其实也就可一利用联合主键来。 1.uuid 2.row_number() 例子： insert into tbl_dim select row_number() over (order by tbl_stg.id) + t2.sk_max, tbl_stg.* from tbl_stg join (select coale...
hive建表及表操作
cysgdsg的博客
04-15 1153
HIVE 建表及对表基本操作 建表的三种形式 1.直接建表 create [external] table [if not exists] tab_name ( row_1 type， row_2 type ) partition by (row_3 type,type_4 type ) row format delimited fields terminated by ’ a’ sto...
Hive 基础
法海你懂不?
03-24 1540
键 Hive中并没有键的概念，但是用户可以对表建立索引。 Hive只有有限的索引功能，一张表的索引数据存储在另外一张表中。 Hive没有主键或基于序列密钥生成的自增键的概念，如果可以的话，应避免对非标准化数据进行JOIN操作。复杂的数据类型，比如array，map和struct有助于实现在单行中存储一对多数据。 CSV格式：值是用逗号分隔的 TSV格式：值是制表键分隔的 命名空间 ...
hive操作
零零七的博客
07-01 2805
创建表 CREATE TABLE test_tab ( id NUMBER primary key, name VARCHAR2(30) ) row format delimited fields terminated by ','; 创建表时候不用设置主键名称 但是创建好表后，再添加就需要添加上主键约束名称TAST_PK 设置主键 ALTER TABLE TEST_TAB ADD CONSTRAINT TAST_PK PRIMARY KEY(ID); 修改hive表列分隔符...
Hive主键、唯一约束
热门推荐
tiki的博客
10-13 2万+
Hive主键、唯一约束等条件探索一、官网查看二、探索1.官网操作2.查找资料3.官网验证4.探索意义 一、官网查看 点击此处查看官方文档 其中Create table： CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [column_constrai
druid 解析hive建表语句
05-19
虽然Druid本身不支持Hive建表语句的解析，但可以通过将Hive建表语句转换为Druid支持的JSON格式，然后将其加载到Druid中进行查询和分析。 以下是一些关键步骤： 1. 将Hive建表语句转换为Druid JSON格式。这可以手动...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值