create table ,create table as 与create like三种建表方式的使用详解

     Hive的hql是基于sql而来,而sql中关于表的创建有几种方式。同样,hive也支持这些表的创建方式。

     官网文档关于建表的地址hive常见建表方式官网文档

1.自主创业方式create table 

  使用create table从无到有,按照建表的格式和要求实现建表。实际开发中较常用的方式,主要可以定制化建表。

    具体参考博客:  https://blog.csdn.net/qq_26442553/article/details/79747906

                                https://blog.csdn.net/qq_26442553/article/details/78805443

CREATE TABLE DEDUCT_SIGN_D`(
  `id` bigint COMMENT '主键ID',
  `sign_no` string COMMENT '签约协议号',
  `bp_no` string COMMENT '商户号',
  `comments` string COMMENT '备注',
  `etl_create_time` string COMMENT 'ETL创建日期',
  `etl_update_time` string COMMENT 'ETL更新日期')
COMMENT '代扣签约表'
PARTITIONED BY (
  `statis_date` string COMMENT '时间分区')

2.懒人模式create table ...as select..(CTAS)

     create table ......as 这种方式建表,很常用。主要是在hive项目开发中,会有很多逻辑聚合,以及临时表等情况的时候。

2.1使用CTAS创建表的好处

   1.CTAS语句中使用查询的结果创建和填充表。由CTAS创建的表是原子的,这意味着在填充所有查询结果之前,其他用户不会看到该表。因此,其他用户要么看到带有完整查询结果的表,要么根本看不到表。

  2.在CTAS中有两个部分,select选择部分可以是HiveQL支持的任何选择语句。CTAS的create创建部分从select选择部分获取结果模式,并可以使用SerDe和存储格式等其他表属性创建指定的目标表。比如指定行列切分格式等属性。

    但是使用CTAS建表会有表结构的变化,以及使用CTAS建表的缺陷和限制,尤其要注意。具体参考博客:使用create table ...as创建表时要注意的问题

2.2使用CTAS创建表的演示

1.直接使用CTAS创建表,不指定创建部分的约束
create table finance.tmp_dm_rpt_110015_fsa_app_d_23 
as 
select  a.stat_date as stat_date    
  ,a.intfc_tp as intfc_tp
  ,a.trmnl_tp_id as trmnl_tp_id
  ,a.app_version  as app_version 
  ,a.clnt_chnl  as clnt_chnl
  ,a.trmnl_clnt as  trmnl_clnt 
from  finance.tmp_dm_rpt_110015_fsa_app_d_20_04  a
inner join finance.tmp_dm_rpt_110015_fsa_app_d_22 b
on b.trmnl_clnt=concat(a.trmnl_tp_id,a.clnt_id);

2.在create创建部分指定表的存储格式等属性,比如指定新表的行列分隔符,存储格式等。
CREATE TABLE T_DEDUCT_SIGN_D_CTAS
   ROW FORMAT DELIMITED FIELDS TERMINATED BY '&'
   STORED AS ORC
AS
SELECT *  FROM T_DEDUCT_SIGN_D WHERE STATIS_DATE IS NOT NULL;

查看使用CTAS建表后的表结构:
hive (fdm_sor)> SHOW CREATE TABLE T_DEDUCT_SIGN_D_CTAS;
OK
CREATE TABLE `T_DEDUCT_SIGN_D_CTAS`(
  `id` bigint, 
  `sign_no` string, 
  `bp_no` string, 
  `statis_date` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '&' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
  'hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/t_deduct_sign_d_ctas'
TBLPROPERTIES (
  'transient_lastDdlTime'='1546422100')

查看表中的数据
hive (fdm_sor)> hive (fdm_sor)> select count(*) from  T_DEDUCT_SIGN_D_CTAS;
438

总结:如上使用CTAS创建的表也可以指定存储格式,字段名等。比如在select的时候给列指定别名,则在新表中就会将源表的列实现了重命名。此外在创建表时给目标表指定特定存储格式,也可以完成数据从源表的存储格式到目标表存储格式的转换。这是hive一个很强大的功能,数据存储格式的转换。后面也可以通过insert实现。

3.半自动化模式create table like.....

  使用这种方式创建的表用官网的话来说就是:The LIKE form of CREATE TABLE allows you to copy an existing table definition exactly (without copying its data). In contrast to CTAS, the statement below creates a new empty_key_value_store table whose definition exactly matches the existing key_value_store in all particulars other than table name. The new table contains no rows.大致意思就是:CREATE TABLE创建表的形式允许您精确地复制现有表定义(不复制其数据),其创建的表除了表名和源表不一样外,其余所有的细节都是一样的。但是没有源表的数据。所以这种create  table like的形式非常适合对源表模式的复制。实际开发中其实用的也不是太多。

create table t__sign_d_like  like T_DEDUCT_SIGN_D
#查看目标表结构
hive (fdm_sor)> show create table t__sign_d_like;
OK
CREATE TABLE `t__sign_d_like`(
  `id` bigint COMMENT '主键ID', 
  `sign_no` string COMMENT '签约协议号', 
  `bp_no` string COMMENT '商户号')
PARTITIONED BY ( 
  `statis_date` string COMMENT '时间分区')
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/t__sign_d_like'
TBLPROPERTIES (
  'transient_lastDdlTime'='1546420764')

#查看源表结构:
hive (fdm_sor)> show create table T_DEDUCT_SIGN_D;
CREATE TABLE `T_DEDUCT_SIGN_D`(
  `id` bigint COMMENT '主键ID', 
  `sign_no` string COMMENT '签约协议号', 
  `bp_no` string COMMENT '商户号')
COMMENT '代扣签约表'
PARTITIONED BY ( 
  `statis_date` string COMMENT '时间分区')
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://SuningHadoop2/user/finance/hive/warehouse/fdm_sor.db/t_deduct_sign_d'
TBLPROPERTIES (
  'transient_lastDdlTime'='1546417837')

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涤生大数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值