Hive实践4之【列转行函数（collect_list、collect_set）、合并函数（concat、concat_ws）】

1、列转行函数

• Hive中collect相关的函数有collect_list、collect_set，两者都是将分组中的某一列转化为一个数组返回，需要与group by函数联合使用

• 区别：

  • collect_list不去重
  • collect_set去重

例子：

• 建立学生成绩表（学生id,科目）

create table grade(
stu_id int,
course string
)
row format delimited fields terminated by ','

• 加载本地数据
• 数据
  

load data local inpath '/root/hive.data/grade.txt' into table grade;

• 按学生id分组，提取出科目并以数组的形式输出即列转行操作

• collect_list():有重复元素

select stu_id,collect_list(course) from grade group by stu_id;

• collect_set()去重

select stu_id,collect_set(course) from grade group by stu_id;

• collect函数可以实现提取出每一个分组的第几个元素
• 下面是取出每一个学生的第一门科

select stu_id,collect_set(course)[0] from grade group by stu_id;

2、合并函数

• concat、concat_ws 函数都可以进行字符的拼接

1）concat(待拼接的字符)

• 只是将各个字符进行拼接

2）concat_ws("分割符”，"待拼接的字符”)

• 将各个字符串 通过一个指定的拼接符进行拼接，它是一个特殊形式的 CONCAT()，第一个参数是剩余参数间的分隔符，分隔符可以是与剩余参数一样的字符串，如果分隔符是 NULL，返回值也将为 NULL，这个函数会跳过分隔符参数后的任何 NULL 和空字符串，分隔符将被加到被连接的字符串之间。
• 注意：参数必须为字符串形式