hadoop学习笔记--11.hive DDL操作

一、hive的数据类型


1.基本类型
  整数类型:TINYINT,SMALLINT,INT,BIGINT,以上类型分别对应java中的byte,short,int,long。
  小数类型:FLOAT,DOUBLE
  布尔类型:BOOLEAN
  字符串类型:STRING,VARCHAR,CHAR
2.复杂类型 
 ARRAY,MAP,STRUCT,TIMESTAMP(DATE)
 常用的就是int ,string,float。
 

二、数据库的DDL操作


建议直接参考官方文档:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL

1.创建数据库

USE database_name;
三、数据表的DDL操作


1.创建数据表

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name    -- (Note: TEMPORARY available in Hive 0.14.0 and later)
  [(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [SKEWED BY (col_name, col_name, ...)                  -- (Note: Available in Hive 0.10.0 and later)]
     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
     [STORED AS DIRECTORIES]
  [
   [ROW FORMAT row_format] 
   [STORED AS file_format]
     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  -- (Note: Available in Hive 0.6.0 and later)
  ]
  [LOCATION hdfs_path]
  [TBLPROPERTIES (property_name=property_value, ...)]   -- (Note: Available in Hive 0.6.0 and later)
  [AS select_statement];   -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)


  这是官方文档给出的创建数据表的格式。不多做解释
解释一下几个关键词:

创建内部表: hive会把数据文件移动到它管理的数据仓库目录下
创建外部表: 需要添加EXTERNAL关键词。不会移动文件,与内部数据表主要区别体现在加载数据和删除数据表上。
创建分区: 需要添加PARTITIONED BY(关键词)
创建桶: 需要添加CLUSTERED BY(关键词)
指定列的分割格式: ROW FORMAT DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]]
指定行的分割格式: COLLECTION ITEMS TERMINATED BY ‘\n’
指定存储的文件格式: STORED AS file_format
指定表格存放的位置: LOCATION hdfs_path


创建表的三种方式:

1.正常新建一张表。
2.创建一张表的子表(AS)

选择其中的几张作为新表的结构
create table IF NOT EXISTS default.bf_log_20170727_sa AS select ip,user from default.bf_log_20170727;

3.复制一张表的格式,不含表的数据(like)

create table IF NOT EXISTS default.bf_log_20170728 like  default.bf_log_20170727;


内部表与外部表的区别:
  ①内部表 的创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到数据仓库目录中;之后对数据对访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除;
  ②外部表 只有一个过程,加载数据和创建表同时完成,并不会移动到数据仓库目录中,只是与外部数据建立一个链接。当删除一个 外部表 时,仅删除该链接;

2.删除数据表

DROP TABLE [IF EXISTS] table_name;


3.清空数据表
  不删除表的结构,只清空表的数据

TRUNCATE TABLE table_name [PARTITION partition_spec];

partition_spec:
  : (partition_column = partition_col_value, partition_column = partition_col_value, ...)


4.修改数据表
  (1). 数据表重命名(rename to)

ALTER TABLE table_name RENAME TO new_table_name;


 (2). 修改列名(change )
 

ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
  [COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];


  (3). 增加或删除列(add/replace)

ALTER TABLE table_name 
  [PARTITION partition_spec]                 -- (Note: Hive 0.14.0 and later)
  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
  [CASCADE|RESTRICT]                         -- (Note: Hive 1.1.0 and later)


  (4). 分区操作

再次推荐官方文档,详细还有例子!!!!
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL  

apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中的一个软件包。Apache Atlas是一个开源的数据治理和元数据框架,用于收集、集成、索引和搜索数据资产。它提供了一个统一的视图来管理企业中的所有数据资产,包括表、列、模式、实体和关系等。而apache-atlas-2.1.0-hive-hook.tar.gz是Atlas项目为了与Hive集成而提供的一个插件。 Hive是一个构建在Hadoop之上的数据仓库基础设施工具,用于处理大规模的结构化数据。它提供了类似于SQL的查询和分析功能,可以将数据批量导入、导出和查询。通过与Apache Atlas的集成,可以实现对Hive中数据资产的元数据管理和治理。 在实际的应用中,apache-atlas-2.1.0-hive-hook.tar.gz可以被部署到Hive的服务器上,并与Hive的插件机制进行集成。通过配置Hive的元数据存储URL、用户名和密码等信息,Atlas可以自动从Hive中提取元数据,并将其索引到Atlas的元数据仓库中。这样,用户可以在Atlas的界面中浏览和搜索Hive中的表、列和关系,并进行数据资产的管理和治理。 此外,apache-atlas-2.1.0-hive-hook.tar.gz还提供了一些其他功能,如基于分类标签的权限控制、数据血缘追踪、数据脱敏等。通过这些功能,用户可以更好地理解和管理Hive中的数据资产,提高数据治理的效率和质量。 总之,apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中用于与Hive集成的插件,通过它可以实现对Hive中数据资产的元数据管理和数据治理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值