Hive中的行列转换：揭秘数据重塑的魔法(2)

文章目录

前言

一、行转列是什么？

二、行转列操作

1.铺垫

2.进行转换

总结

---

---

前言

在数据分析和处理中，数据的组织和展示方式至关重要。有时候，为了更直观地展示数据或更好地进行某些计算，我们需要将数据从行格式转换为列格式，即进行行转列的操作。

---

一、行转列是什么？

在Hive中，行转列是一种常见的操作，它能够将多行数据中的某些值聚合到一起，形成单个值，从而将数据从宽格式变为长格式。

进行行转列操作，可以帮助我们更深入地挖掘数据的内在关系，更好地理解数据的分布和特征。

二、行转列操作

在Hive中，行转列的操作可以通过使用特定的函数和操作来实现。

使用collect_list函数可以将多行数据中的某些值聚合到一个列中，形成一个长格式的列。

1.铺垫

假设我们有一个名为sales的表，包含以下数据

我们想要将产品相同的行合并，并收集它们的销售量，形成一个新的表。可以使用collect_list()函数来实现这个目标。下面是具体的操作步骤：

代码如下（示例）：

SELECT product, collect_list(amount) as amounts  
FROM sales  
GROUP BY product;

1. 使用GROUP BY子句对产品进行分组。
2. 使用collect_list()函数将每个产品的销售量聚合到一个列表中。
3. 使用SELECT子句选择产品ID和销售量列表作为输出列。

执行上述查询后，将得到以下结果：

 

2.进行转换

有数据如下：

col1   col2     col3
a	    b	    1
a	    b	    2
a	    b	    3
c	    d	    4
c	    d	    5
c	    d	    6

我们想要的格式：

col1   col2     col3
a	    b	    1-2-3
c	    d	    4-5-6

 代码实现：

select
    col1,col2,
    concat_ws('-',collect_list(cast(col3 as string))) as col3
from col
group by
    col1,col2;

代码解释：

cast(col3 as string):   -- 把 col3 列的数据, 转成 string类型, 就能通过 concat_ws()拼接了.
collect_list(cast(col3 as string)):  -- 根据分组条件, 采集每组所有的信息, 有序, 可重复.
oncat_ws('-', collect_list(cast(col3 as string))):    -- 用'-'作为连接符, 把上述采集到的数据, 拼接到一起.

---

总结

今天的内容也是非常简单的，但也有分量，掌握行转列技术有助于更好地理解和处理数据，提高数据处理和分析的效率。