Hive 表中数据的增删查改操作深度剖析与实战应用

肖洁婷

已于 2024-12-09 15:35:59 修改

阅读量1.1k

点赞数 23

文章标签： hive hadoop 数据仓库

于 2024-11-18 15:01:09 首次发布

本文链接：https://blog.csdn.net/xjiet/article/details/143856998

版权

摘要：本文聚焦于 Hive 表中数据的增删查改这一核心操作领域，从基础理论到详细的代码示例，结合直观的表格对比以及对操作过程中各类要点的深度解读，全方位展示如何在 Hive 环境下高效且准确地对表数据进行管理。旨在帮助大数据从业者、数据分析爱好者等全面掌握 Hive 数据操作技能，助力其在实际的数据处理与分析项目中灵活运用，提升数据处理效率与质量。

一、引言

在当今大数据时代，Hive 凭借其对海量数据处理的高效性以及类似 SQL 的操作便利性，成为了数据仓库领域的关键工具之一。而对 Hive 表中的数据进行增删查改操作，则是日常数据管理、分析以及业务应用开发过程中不可或缺的环节。无论是导入新的数据资源、清理无效数据、检索所需信息还是更新已有记录，都离不开这些基础操作。接下来，我们将深入探讨 Hive 表中数据增删查改操作的每一个细节，通过丰富的代码示例、清晰的表格归纳以及详细的文字阐述，让读者能够透彻理解并熟练运用。

二、Hive 表数据插入（增）操作

（一）从本地文件插入数据

1. 基本语法与原理

使用 LOAD DATA 语句可以将本地文件系统中的数据加载到 Hive 表中。其基本语法如下：

LOAD DATA LOCAL INPATH '<local_file_path>' INTO TABLE <table_name>;

这里的 <local_file_path> 表示本地文件的实际路径，需要确保 Hive 用户具有访问该文件的权限；<table_name> 则是要插入数据的目标 Hive 表名称。

Hive 在执行此操作时，会将本地文件的数据按照表的结构定义进行解析，并将数据存储到对应的表中。例如，如果表有多个字段，文件中的数据格式要与表字段的顺序、类型等相匹配，通常以特定的分隔符来区分各个字段值（如逗号、制表符等）。

2. 示例代码与步骤

假设我们创建了一个名为 students 的 Hive 表，其结构包含 id（整数类型）、name（字符串类型）、age（整数类型）、gender（字符串类型）四个字段，如下是创建表的代码：

CREATE TABLE students (
    id INT,
    name STRING,
    age INT,
    gender STRING
);

现在我们有一份本地的 CSV 文件 students_data.csv，内容示例如下（每行代表一条记录，以逗号分隔字段）：

2018213201，李小勇，男,20,CS
2018213202，刘良，女,19,IS
2018213203，王芝芝，女,22,MA
2018213204，张大立，男,19,IS
2018213205，刘云山，男,18,MA
2018213206，孙庆刚，男,23,CS
2018213207，易思玲，女,19,MA
2018213208，李娜，女,18,CS
2018213209，梦媛媛，女,18,MA
2018213209，孔江涛，男,19,CS

要将这份文件的数据插入到 students 表中，执行如下插入语句：

LOAD DATA LOCAL INPATH '/home/user/students_data.csv' INTO TABLE students;

3. 注意事项

本地文件路径必须准确无误，否则会导致加载失败，报错提示找不到文件。
数据格式要严格符合表结构定义，比如数据类型、字段顺序以及分隔符的使用等。如果出现不一致，可能会出现数据插入错误或者部分数据无法插入的情况。

（二）从查询结果插入数据

1. 语法与应用场景

通过 INSERT INTO... SELECT 语句，可以把一个查询的结果集插入到另一个表中。语法格式如下：

INSERT INTO TABLE <target_table_name>
SELECT <column_list>
FROM <source_table_name>
[WHERE <condition>];

<target_table_name> 是目标表名称，<column_list> 是要选择插入的列列表（若选择全部列可用 * 表示），<source_table_name> 是数据源表名称，[WHERE <condition>] 部分是可选的筛选条件，用于筛选出符合特定要求的数据插入到目标表中。

这种方式常用于数据的整合、备份以及根据特定业务规则提取部分数据到新表等场景。

2. 示例操作

例如，我们有一个 students_temp 表，结构和 students 表完全相同，现在想要把 students 表中年龄大于 18 岁的学生数据插入到 students_temp 表中，代码如下：

INSERT INTO TABLE students_temp
SELECT *
FROM students
WHERE age > 18;

这样，只有满足年龄大于 18 岁条件的学生记录会被插入到 students_temp 表中。

3. 多表关联插入

有时候，我们还可以在查询语句中进行多表关联，然后将关联查询的结果插入到目标表中。假设我们还有一个 courses 表，包含 course_id、course_name、student_id 等字段，表示学生选修课程的信息，现在想创建一个新表 students_courses 来存储学生及其选修课程的信息，代码如下：