这篇文章将记录如何使用spark DataFrame将列数据展开,这里使用的是explode方法
将对List数据和Map分别给出展开的例子:
在stackoverflow 中的问题是这样的:
https://stackoverflow.com/questions/37391241/how-to-explode-columns/37392793#37392793
加入我们有这种数据:
name | age | interest |
---|---|---|
A | 20 | 篮球,羽毛球 |
B | 22 | 游泳,慢跑,写代码 |
… | … | …. |
我们希望得到这种格式的:
name | age | interest |
---|---|---|
A | 20 | 篮球 |
A | 20 | 羽毛球 |
B | 22 | 游泳 |
B | 22 | 慢跑 |
B | 22 | 写代码 |
… | … | …. |
那么使用java如何操作呢? 一种是使用RDD啊什么的一个一个的转,但是强大的spark用提供了一个强大的explode方法
首先看下explode官方给的文档吧~~
可以知道 explode方法可以从规定的Array或者Map中使用每一个元素创建一列
df = df.withColumn("entityPair", functions.explode(functions.col("entityList")));
这里explode中传入的是需要进行展开的列名,withColun中的第一个参数是展开后的新列名。
其中entityList必须是一个List。例如上面给的数据例子,在爱好哪一行,数据类型应该是这样的
List<String> : {"羽毛球","篮球"}
文档中还说了可以将map数据展开,那么如何进行呢?
假设我们有这样一个map:
url | data |
---|---|
www.xxx.com | map(key1->value1, key2->value2) |
www.aaa.com | map(key3->value3) |
… | … |
我们需要将map中所有的key和value展开,所有的key为一列,所有的value为一列
得到如下结构:
url | key | value |
---|---|---|
www.xxx.com | key1 | value1 |
www.xxx.com | key2 | value2 |
www.aaa.com | key3 | value3 |
… | … | … |
下面给出java 方法:
df = df.select(functions.explode(functions.col("data"))).toDF("key", "value");
可以看到,这里和List有一个不同的地方时需要在explode后接一个toDF操作,是因为map进行展开操作后自然会得到两列,我们需要将其转化为DataFrame格式的两列,列名可以自己指定。
————————————————