在SQL中使用explode函数展开数组的详细指南

简介

在处理SQL中的数组数据时，explode函数非常有用。它可以将数组中的每个元素单独提取出来，便于进一步处理。本文将通过几个具体示例，详细介绍如何在Spark SQL中使用explode函数展开数组。

示例1：简单数组展开

假设你有一个表students，包含学生的ID和他们喜欢的科目，这些科目存储在一个数组中：

CREATE TABLE students (
    student_id INT,
    favorite_subjects ARRAY<STRING>
);

INSERT INTO students VALUES
(1, ARRAY('Math', 'Science', 'History')),
(2, ARRAY('Literature', 'Math')),
(3, ARRAY('Art', 'Music'));

使用explode函数展开数组：

SELECT student_id, explode(favorite_subjects) AS subject
FROM students;

输出结果：

+-----------+-----------+
| student_id|    subject|
+-----------+-----------+
|          1|       Math|
|          1|    Science|
|          1|    History|
|          2| Literature|
|          2|       Math|
|          3|        Art|
|          3|      Music|
+-----------+-----------+

示例2：展开嵌套数组

假设你有一个表orders，其中每个订单包含多个项目，每个项目有多个标签：

CREATE TABLE orders (
    order_id INT,
    items ARRAY<STRUCT<item_id: INT, tags: ARRAY<STRING>>>
);

INSERT INTO orders VALUES
(1, ARRAY(
    NAMED_STRUCT('item_id', 101, 'tags', ARRAY('Electronics', 'Gadget')),
    NAMED_STRUCT('item_id', 102, 'tags', ARRAY('Home', 'Kitchen'))
)),
(2, ARRAY(
    NAMED_STRUCT('item_id', 201, 'tags', ARRAY('Furniture', 'Living Room')),
    NAMED_STRUCT('item_id', 202, 'tags', ARRAY('Office', 'Supplies'))
));

使用explode函数展开嵌套数组：

SELECT order_id, item.item_id, tag
FROM orders
LATERAL VIEW explode(items) AS item
LATERAL VIEW explode(item.tags) AS tag;

输出结果：

+--------+--------+-------------+
|order_id|item_id |         tag |
+--------+--------+-------------+
|       1|     101| Electronics |
|       1|     101|      Gadget |
|       1|     102|        Home |
|       1|     102|     Kitchen |
|       2|     201|   Furniture |
|       2|     201| Living Room |
|       2|     202|      Office |
|       2|     202|    Supplies |
+--------+--------+-------------+

示例3：与其他函数结合使用

假设你有一个表employees，其中包含员工ID和他们参加的培训课程的日期：

CREATE TABLE employees (
    employee_id INT,
    training_dates ARRAY<DATE>
);

INSERT INTO employees VALUES
(1, ARRAY('2024-01-01', '2024-03-15', '2024-06-10')),
(2, ARRAY('2024-02-20', '2024-05-05')),
(3, ARRAY('2024-04-12', '2024-07-19'));

使用explode函数展开数组，并结合其他函数处理数据：

SELECT employee_id, training_date, month(training_date) AS training_month
FROM employees
LATERAL VIEW explode(training_dates) AS training_date;

输出结果：

+------------+-------------+--------------+
|employee_id |training_date|training_month|
+------------+-------------+--------------+
|          1 |   2024-01-01|             1|
|          1 |   2024-03-15|             3|
|          1 |   2024-06-10|             6|
|          2 |   2024-02-20|             2|
|          2 |   2024-05-05|             5|
|          3 |   2024-04-12|             4|
|          3 |   2024-07-19|             7|
+------------+-------------+--------------+

处理结构体数组

如果你的数组包含结构体（struct），你可以在SQL中使用explode函数结合LATERAL VIEW来展开结构体数组，并提取结构体中的各个字段。

示例：展开包含结构体的数组

假设你有一个表orders，每个订单包含多个项目，每个项目由item_id和quantity组成，并且这些项目存储在一个数组中：

CREATE TABLE orders (
    order_id INT,
    items ARRAY<STRUCT<item_id: INT, quantity: INT>>
);

INSERT INTO orders VALUES
(1, ARRAY(
    NAMED_STRUCT('item_id', 101, 'quantity', 2),
    NAMED_STRUCT('item_id', 102, 'quantity', 1)
)),
(2, ARRAY(
    NAMED_STRUCT('item_id', 201, 'quantity', 5),
    NAMED_STRUCT('item_id', 202, 'quantity', 3)
));

使用explode函数结合LATERAL VIEW展开结构体数组并提取结构体中的各个字段：

SELECT order_id, item.item_id, item.quantity
FROM orders
LATERAL VIEW explode(items) AS item;

输出结果：

+--------+--------+--------+
|order_id|item_id |quantity|
+--------+--------+--------+
|       1|     101|       2|
|       1|     102|       1|
|       2|     201|       5|
|       2|     202|       3|
+--------+--------+--------+

示例2：展开嵌套结构体数组

假设你有一个表orders，每个订单包含多个项目，每个项目包含item_id、quantity和一个标签数组：

CREATE TABLE orders (
    order_id INT,
    items ARRAY<STRUCT<item_id: INT, quantity: INT, tags: ARRAY<STRING>>>
);

INSERT INTO orders VALUES
(1, ARRAY(
    NAMED_STRUCT('item_id', 101, 'quantity', 2, 'tags', ARRAY('Electronics', 'Gadget')),
    NAMED_STRUCT('item_id', 102, 'quantity', 1, 'tags', ARRAY('Home', 'Kitchen'))
)),
(2, ARRAY(
    NAMED_STRUCT('item_id', 201, 'quantity', 5, 'tags', ARRAY('Furniture', 'Living Room')),
    NAMED_STRUCT('item_id', 202, 'quantity', 3, 'tags', ARRAY('Office', 'Supplies'))
));

使用explode函数和LATERAL VIEW展开嵌套结构体数组，并提取结构体和嵌套数组中的各个字段：

SELECT order_id, item.item_id, item.quantity, tag
FROM orders
LATERAL VIEW explode(items) AS item
LATERAL VIEW explode(item.tags) AS tag;

输出结果：

+--------+--------+--------+-------------+
|order_id|item_id |quantity|         tag |
+--------+--------+--------+-------------+
|       1|     101|       2| Electronics |
|       1|     101|       2|      Gadget |
|       1|     102|       1|        Home |
|       1|     102|       1|     Kitchen |
|       2|     201|       5|   Furniture |
|       2|     201|       5| Living Room |
|       2|     202|       3|      Office |
|       2|     202|       3|    Supplies |
+--------+--------+--------+-------------+

这些示例展示了如何在SQL中处理包含结构体的数组，并提取结构体中的多个字段。希望这些示例对你有所帮助！

总结

通过这些示例，可以快速掌握在SQL中使用explode函数展开数组的基本方法。

无论是处理简单数组，嵌套数组，还是包含结构体的数组，explode函数都能提供很大的便利。