Hive DDL & 内部表与外部表

最新推荐文章于 2023-05-14 11:12:01 发布
最新推荐文章于 2023-05-14 11:12:01 发布
阅读量982 收藏
点赞数
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lemonZhaoTao/article/details/78163648
版权

Database DDL操作

DDL

Data Definition Language(即数据的定义语言)
create/delete/alter等操作，与关系型数据库中的DDL非常类似，几乎是一样的            
官网：https://cwiki.apache.org/confluence/display/Hive/Home
DDL：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
官网的介绍：

这里写图片描述

Hive中的一张表就对应HDFS上的一个目录：/user/hive/warehouse/xxx

创建数据库

  • 语法：
    CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name
      [COMMENT database_comment]
      [LOCATION hdfs_path]
      [WITH DBPROPERTIES (property_name=property_value, ...)];
  • 操作：
       hive>create database hive; 
       hdfs上对应的目录：/user/hive/warehouse/hive.db

  • 问题一：Hive中，默认的default数据库在hdfs上没有显示，为什么？
    emp表的路径：/user/hive/warehouse/emp
    由于没有指定相应的数据库，因此emp表默认是default数据库的
    default数据库在HDFS上默认是没有的，不需要的
    因为 /user/hive/warehouse/ 后面跟的就是default
    比如：
    /user/hive/warehouse/a
    /user/hive/warehouse/dept
    /user/hive/warehouse/emp
    这些均是default数据库所管辖的
    只有当自己手动去创建一个数据库时，HDFS上才会去创建一个xxx.db的文件夹

  • 创建数据库的时候建议的写法

hive>create database if not exists hive;
  • 创建数据库的其它写法
   hive>create database hive2 LOCATION "/zhaotao/directory";

此时hdfs上的目录：/zhaotao/directory 并没有创建相关文件夹
这里写图片描述

   hive>use hive2;
   hive>create table a(id int);

此时hdfs上的目录：/ruoze/directory/a 此时创建了与表对应的文件夹
这里写图片描述

  • 问题二为什么没有创建对应的hive2.db文件夹**
    原理和默认目录/user/hive/warehouse/ 下不创建default，但是会创建hive.db一样
    /ruoze/directory/xxx 目录下的文件夹都是属于hive2数据库所管辖的

  • 创建数据库的其它写法(写上相关注释；使用键值对形式)：** 

  hive>create database hive3 COMMENT 'it is my database' 
           WITH DBPROPERTIES('creator'='ruoze','date'='2018-08-08');

查看数据库

hive>show databases;

查hive开头的(使用模糊匹配的方式)

hive>show databases like 'hive*';

这里写图片描述

查看数据库的结构

hive>desc database hive2;
hive>desc database hive3;
  • 查看更详细的信息：
    该操作可以查看刚刚创建的hive3数据库 所定义的信息 键值对
hive>desc database extended hive3;

这里写图片描述

  • 去MySQL查看元数据信息
mysql>mysql
mysql>select * from DBS \G;

这里写图片描述

在这个表中，可以查看到hive3数据库的信息

mysql>select * from DATABASE_PARAMS \G;

这里写图片描述

【重点】
每当我们使用了一个hive中ql时，一定要知道这条语句对应元数据信息是怎么存储的

修改数据库

语法：

ALTER (DATABASE|SCHEMA) database_name SET DBPROPERTIES (property_name=property_value, ...);     
ALTER (DATABASE|SCHEMA) database_name SET OWNER [USER|ROLE] user_or_role;
ALTER (DATABASE|SCHEMA) database_name SET LOCATION hdfs_path; 
hive>alter database hive3 set DBPROPERTIES("edited-by"="J");

修改完之后，再去看

mysql>select * from DATABASE_PARAMS \G;

这里写图片描述

删除数据库

语法：

DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE];
hive>drop database hive3;

发现对应的元数据信息被删除了

mysql>select * from DBS \G;

这里写图片描述

删除失败 因为该数据库中还有其它表存在，因此不能直接删除

hive>drop database hive2;

这里写图片描述

删除成功 cascade级联
工作中不建议删除数据库，尤其是加了cascade级联

hive>drop database hive2 cascade;

这里写图片描述

操作总结

本质上，操作与关系型数据库没有差别

Hive基本数据类型&分隔符

  1. 网址
    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types

  2. 几种常用的数据类型：
    string、int、bigint、float、double、boolean、date timestamp
    注：放到越后面的优先级越低

  3. 分隔符
    \n (行与行之间 相当于回车换行)
    ^A 与 \001(表示的是同一个 在Hive中，列与列之间的分隔符不是Tab也不是空格键)
    【注意】一般情况下，在创建表的时候直接指定分隔符:\t或者, 进行使用

Table DDL操作

Hive 表的创建

网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
hive中的表其实对应的就是hdfs上的一个文件夹
同理，hive中的数据库也是对应一个文件夹

相关操作

语法：
这里写图片描述
这里写图片描述

  hive>create table emp(
  empno int, 
  ename string, 
  job string, 
  mgr int, 
  hiredate string, 
  sal double, 
  comm double, 
  deptno int
  )row format delimited fields terminated by '\t';

字段之间的分隔符采用’\t’ 官网解释：[FIELDS TERMINATED BY char [ESCAPED BY char]] 

  hive>create table emp2 as select * from emp;

官网解释：[AS select_statement]; 从已有的表中的数据，进行创建表
这是要跑MapReduce 作业的
这里写图片描述

  hive>select * from emp2;

这里写图片描述

 hive>create table emp3 like emp;

官网解释：
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
LIKE existing_table_or_view_name
[LOCATION hdfs_path];
注意：like只拷贝表结构不拷贝表数据
这里写图片描述

查看表结构

hive>desc emp3;
hive>desc extended emp3;

推荐使用这种，格式化查看

hive>desc formatted emp3;

这里写图片描述

修改表名

语法：

  ALTER TABLE table_name SET TBLPROPERTIES table_properties;
  table_properties:
    : (property_name = property_value, property_name = property_value, ... )
hive>alter table emp2 rename to emp2_bak;

修改表名之后，hdfs上对应的目录为：/user/hive/warehouse/emp2_bak
表名被修改之后，hdfs对应的目录也被修改了
这里写图片描述

删除表

语法：

DROP TABLE [IF EXISTS] table_name [PURGE];???? -- (Note: PURGE available in Hive 0.14.0 and later)
hive>drop table emp3;

hdfs上对应的emp3文件夹也被删除了
这里写图片描述

Truncate Table操作

语法：

TRUNCATE TABLE table_name [PARTITION partition_spec];
partition_spec:
  : (partition_column = partition_col_value, partition_column = partition_col_value, ...)
hive>Truncate Table emp2_bak;
hive>select * from emp2_bak;        查不出数据了，没有数据

这里写图片描述
Truncate操作不删除表结构，但是表中的数据没有了

内部表和外部表的区别

面试的时候，经常会被问到：有什么区别，分别在什么场景下进行使用？

相关介绍：

网址：
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-ManagedandExternalTables

Managed and External Tables 内部和外部表
Hive里面有两类数据：
1. data 数据存放在HDFS上的
2. metadata 元数据存放在mysql上的

内部表

   hive.metastore.warehouse.dir=/user/hive/warehouse      ##在hive-site中配置
   If a managed table or partition is dropped, the data and metadata associated with that table or partition are deleted.

drop table ==> data + metadata drop

外部表

   An external table describes the metadata / schema on external files. External table files can be accessed  and managed by processes outside of Hive

create table + location 可以存放在任意的地方，在创建的时候通过location参数进行指定
drop table ==> metadata drop + data not drop

实验：

  • 内部表的实验：
    创建内部表
hive>create table emp_managed as select * from emp;

查看表结构

hive>desc formatted emp_managed;

hdfs路径：/user/hive/warehouse/emp_managed
这里写图片描述

TBL_TYPE为MANAGED_TABLE，代表为内部表

mysql>select * from TBLS \G;

这里写图片描述

hive>drop table emp_managed;

hdfs上没有 /user/hive/warehouse/emp_managed 路径了 data数据没有了
mysql里也没有元数据了
这里写图片描述
这里写图片描述

注意：不带EXTERNAL不一定不是外部表，因为外部表可以通过属性进行设置
TBLPROPERTIES (“EXTERNAL”=”TRUE”)

  • 外部表的实验： 
hive>create EXTERNAL table emp_external(
empno int, 
ename string, 
job string, 
mgr int, 
hiredate string, 
sal double, 
comm double, 
deptno int
)row format delimited fields terminated by '\t'
location '/hive_external/emp/';

TBL_TYPE为EXTERNAL_TABLE

 mysql>select * from TBLS \G;

这里写图片描述

没有数据 

hive>select * from emp_external;

这里写图片描述

将本地的数据拷贝到hdfs上去 

$>hadoop fs -put /opt/data/emp.txt /hive_external/emp/

可以查出数据

hive>select * from emp_external;

这里写图片描述

 hive>drop table emp_external;

hdfs上的/hive_external/emp/emp.txt还有
mysql上的元数据被删除了
这里写图片描述
这里写图片描述

问题：外部表在什么地方使用呢？
建议：对于一些原始的日志文件，建议使用外部表
就算干掉，也只是元数据没有了，但是hdfs上的数据还是存在
这样子，数据安全性较好

Hive DDL其他

TBLPROPERTIES

查看表的创建语句：

hive>show create table emp;

这里写图片描述

存储格式(Storage Formats) 重要，后面会展开讲：

创建表的时候，可以自己指定；不指定，会有默认的值

   [STORED AS file_format]
  file_format:
    : SEQUENCEFILE
    | TEXTFILE    -- (Default, depending on hive.default.fileformat configuration)
    | RCFILE      -- (Note: Available in Hive 0.6.0 and later)
    | ORC         -- (Note: Available in Hive 0.11.0 and later)
    | PARQUET     -- (Note: Available in Hive 0.13.0 and later)
    | AVRO        -- (Note: Available in Hive 0.14.0 and later)
    | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

Partitioned Tables

后面的文章中会展开讲，其在工作中十分重要

疯狂呼呼呼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive（14）：Database|schema（数据库） DDL操作
u013938578的博客
06-27 813
Hive中DATABASE的概念和RDBMS中类似，我们称之为数据库。在Hive中， DATABASE和SCHEMA是可互换的，使用DATABASE或SCHEMA都可以。Hive中的DESCRIBE DATABASE语句用于显示Hive中数据库的名称，其注释（如果已设置）及其在文件系统上的位置等信息。Hive中的USE DATABASE语句用于选择特定的数据库,切换当前会话使用哪一个数据库进行操作。Hive中的ALTER DATABASE语句用于更改与Hive中的数据库关联的元数据。
hive 基本命令
binbin_09_10的博客
11-15 828
1. 创建 create: 创建数据库、表、视图 初级：create [database/table/view/schema] name;   在sql引擎内，均可用schema代替database 高级：create database if not exists name with dbproperties('creator'='binbin','date'='2018-11-15') ;...
获取指定hive库的schema
lhxsir的博客
08-09 5815
列表[] 元祖() sql =''' select * from test where day='%s' and hour='%s'; ''' sql = sql % (20190805, 11) print(sql) 字典{key:value,key:value} 无序 ab = {'a':'1','c':'2'} print(ab['a']) print(ab['b']) 如果获取不存...
Hive Metastore详解大全
一个数据小开发的博客
08-12 1万+
1、何为Hive MetaStore？
hive通过JDBC获取元数据信息
m1913843179的博客
06-04 1681
JDBC获取数据库、参数、结果集元数据 DataBaseMetaData ResultSet getCatalogs() //获取数据库 Connection getConnection() //获取连接 ResultSet getColumns(String catalog, String schemaPattern, String tableNamePattern, String columnNamePattern) //获取所有的列 ResultSet getSchemas() //获取schem
mysql，postgresql，oracle,hive元数据库等查看表结构信息
小小争520
11-11 3187
我们在查询表结构的时候，从information_schema里面获取，单独语句只能查询部分信息，比如：information_schema.tables 和information_schema.columns 。前者只能获取表相关数据，无法显示字段详信息，后者只能获取字段详细信息，无法获取表以及库的信息。 现在将两者结合在一起，获取需要的全部信息 本脚本目前只针对mysql和pg库，其他数据库后续会有补充。 本脚本可以快速查询你想要的整个数据库的表结构，如图： mysql: 注意：脚本需
hive笔记
qq_37863962的博客
07-06 1017
hive 了解 Hive是基于Hadoop的一个数据仓库工具，可以将 结构化的数据文件 映射为一张表. Hive本质是：将 SQL 转换为 MapReduce 的任务进行运算 底层由HDFS来提供数据存储 可以将Hive理解为一个：将 SQL 转换为 MapReduce 任务的工具 数据仓库的目的：构建面向分析的、集成的数据集合；为企业提供决策支持 数据仓库本身不产生数据，数据来源与外部 存储了大量数据，对这些数据的分析和处理不可避免的用到Hive Hive的优点 学习成本低。Hive提供了类似SQL的查询
Hive概述
09-16 378
一、Hive简介 1. Hive是一个数据仓库软件 Hive可以使用SQL来促进对已经存在在分布式设备中的数据进行读，写和管理等操作。 Hive在使用时，需要对已经存储的数据进行结构的投影(映射)。 Hive提供了一个命令行和JDBC的方式，让用户可以连接到hive。 注：Hive只能处理结构化数据。 Hive在Hadoop之上，使用hive的前提是先要安装Hadoop。 2.Hive的特点 ①Hive不是一个关系型数据库； ②不是基于OLTP（在线事务处理）设计； OLTP（在线事务处
获取hive表信息
最新发布
盛源的博客
05-14 317
获取hive的表结构信息：表owner、表location。
hive中获取数据库中的所有表名
热门推荐
mody_3q的博客
08-14 3万+
最近导师让我梳理hive上的表信息，开始的时候遇到个小问题，记录一下，嘻嘻。 问题：使用show tables; 获取表名时，如果数据库中的表过多，则无法通过页面展示全部。 解决方法：将结果写入文本文档中，然后通过文档打开即可。 1.show tables; 执行结果，可以看到，将滚轮滚到最上方，依然不能够展示所有的表名。 2.通过百度查询，并未找到相关解决方法，也不像查询表中类容，可以limi...
Hive内部表和外部表
01-07
一：内部表和外部表的区别 创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是...
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)...
Hive管理表和外部表的区别
01-07
所谓外部表，就是Hive并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候...
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的...
Hive的分区表
01-20
Hive分区表 Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区...
Hive的产生背景 & 概述 & 发展历程 & 架构 & 部署及简单入门
呼呼的小窝
10-06 5826
Hive入门文章，将从Hive的产生背景、概述、发展历程、架构、与RDBMS的对比、部署及操作简单入门讲起。
Hive中元数据表的关系和含义
呼呼的小窝
05-05 4659
Hive版本的元数据表 version表 字段 含义 VER_ID id主键 SCHEMA_VERSION Hive 版本 VERSION_COMMENT 版本说明 Hive数据库相关元数据表 DBS表 字段 含义 DB_ID 数据库ID DESC 数据库描述 DB_LOCATION...
Hive使用lateral view和explode处理嵌套json
呼呼的小窝
07-31 3967
最近有个需求，需要解析数仓中某张表的某个字段，该字段为Json，且为嵌套的多层Json，Json格式如下： 由于是生产环境上的数据，因此对于某些value以xxx进行替代，并不影响sql的编写 需求是需要提取出每个这种json中所有的brandName 思路1： 思路2： 思路3： ...
Hive进阶（2）—— 存储格式
呼呼的小窝
09-27 3947
存储格式基本概念 官网：https://cwiki.apache.org/confluence/display/Hive/FileFormats 官网介绍： Hive supports several file formats: * Text File * SequenceFile * RCFile * Avro Files * ORC Files * Parquet * Custom INPU...
hive中内部表与外部表的区别
02-14
Hive中的内部表与外部表的区别如下: 1. 数据存储：内部表的数据存储在Hive的数据仓库中，外部表的数据存储在HDFS文件系统中。 2. 数据管理：对于内部表，Hive完全管理数据的生命周期，并在表被删除时删除其所有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值