Hive 的使用操作方法-表创建，删除，分区的增删，修改表结构，重命名，行列互转和sql查询

最新推荐文章于 2024-09-25 11:18:24 发布

置顶

星月情缘02

最新推荐文章于 2024-09-25 11:18:24 发布

阅读量2.3k

点赞数

分类专栏： Hadoop 文章标签： hive sql 大数据 hql 数据分析

本文链接：https://blog.csdn.net/xingyue0422/article/details/81607290

版权

Hive 是大数据分析的重要工具，提供类 SQL 查询功能，简化了数据分析工作。本文详细介绍了Hive的表操作，包括创建（支持内部表和外部表）、删除、分区管理（增删）、表结构修改、重命名，以及行列转换和SQL查询的常用函数。Hive支持使用PARTITIONED BY创建分区表，通过ALTER TABLE语句进行表结构的修改，使用LOAD DATA命令加载数据，以及通过SELECT和JOIN进行复杂查询。了解这些操作对于大数据分析人员至关重要。

摘要由CSDN通过智能技术生成

Hive 的使用操作方法-表创建，删除，分区的增删，修改表结构，重命名，行列互转和sql查询

做大数据或数据分析的人员应该都非常熟悉Hive吧，它是一款强大的数据分析工具，就是类sql查询语句，可以把复杂的MapReduce任务转换为sql查询，方便了数据分析人员快速定位分析结果。hive是Apache软件基金会的开源的数据分析工具，功能强大，包括直接分析出结果，做ETL中的数据清洗，预处理等等。

本文不讲述hive如何下载，安装，配置，具体的操作网上都有的，可以查询到。本文以介绍hive的表创建，删除，增加表分区，删除表分区，表结构的修改，重命名和行列互转，包括一些常用的sql函数。

1. hive表创建（和一般关系数据库的语法基本一致）

Hive 的使用操作方法-表创建，删除，分区的增删，修改表结构，重命名，行列互转和sql查询

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
  [(col_name data_type [COMMENT col_comment], ...)]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type
    [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...)
  [SORTED BY (col_name [ASC|DESC], ...)]
  INTO num_buckets BUCKETS]
  [ROW FORMAT row_format]
  [STORED AS file_format]
  [LOCATION hdfs_path]

对于创建表的语句说明:

CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。

EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。

LIKE 允许用户复制现有的表结构，但是不复制数据。

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive 通过 SerDe 确定表的具体的列的数据。

如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCE 。

有分区的表可以在创建的时候使用 PARTITIONED BY 语句。一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下。而且，表和分区都可以对某个列进行 CLUSTERED BY 操作，将若干个列放入一个桶（bucket）中。也可以利用SORT BY 对数据进行排序。这样可以为特定应用提高性能。

表名和列名不区分大小写，SerDe 和属性名区分大小写。表和列的注释是字符串。

2 删除表和表结构的修改

Drop Table

删除一个内部表的同时会同时删除表的元数据和数据。删除一个外部表，只删除元数据而保留数据。

Alter Table

Alter table 语句允许用户改变现有表的结构。用户可以增加列/分区，改变serde，增加表和 serde 熟悉，表本身重命名。

Add Partitions

ALTER TABLE table_name ADD
partition_spec [ LOCATION 'location1' ]
partition_spec [ LOCATION 'location2' ] ...

partition_spec:
: PARTITION (partition_col = partition_col_value,
partition_col = partiton_col_value, ...)

用户可以用 ALTER TABLE ADD PARTITION 来向一个表中增加分区。当分区名是字符串时加引号。

ALTER TABLE page_view ADD
    PARTITION (dt='2008-08-08', country='us')
      location '/path/to/us/part080808'
    PARTITION (dt='2008-08-