hive行列转换总结

最新推荐文章于 2024-07-09 20:04:59 发布

young-ming

最新推荐文章于 2024-07-09 20:04:59 发布

阅读量6.7k

点赞数 1

分类专栏： Hive 文章标签： hive 行列转换

本文链接：https://blog.csdn.net/u011750989/article/details/12653153

版权

本文总结了Hive中如何进行行列转换，包括单列转多行、多行转单列以及多行转多列、多列转多行的操作。通过split和explode函数实现了单列到多行的转换，利用自定义UDF则可以完成多行到单列的转换。对于更复杂的多行转多列和多列转多行，可以参照相关博文进行操作。

摘要由CSDN通过智能技术生成

1、单列转换成多行

比如：

pageid paged

page1 a,b,c

要转换成

page1 a

page1 b

page1 c

select pageid,p from test lateral view explode(split(paged,',')) adtable as p;

通过split拆成多个元素的集合，再通过explode打散成多行，lateral view作用是解决explode这种UDTF函数拆成的数据不能与其他字段共同服务问题

2、多行转换成单列

即上面的结果又反推回去,想到oracle的sys_connect_path，便写个UDF实现类似功能

import java.util.ArrayList;

import org.apache.hadoop.hive.ql.exec.UDF;
public class RowToCol extends UDF {
private static int MAX_VALUE = 50;

private static String prerows[] = new String[MAX_VALUE];//全局变量，保留上一条记录的值

private static StringBuilder val=null;

public String evaluate (Object ...args){
	
ArrayList<String> thisrowlist=new ArrayList<String>()