[Scala] Spark将RDD中某一列下的数组拆分成多列

最新推荐文章于 2024-09-20 16:06:57 发布

枪枪枪

最新推荐文章于 2024-09-20 16:06:57 发布

阅读量2.4k

点赞数 1

分类专栏： Spark Scala 文章标签： spark scala big data

本文链接：https://blog.csdn.net/az9996/article/details/122068737

版权

Spark 同时被 2 个专栏收录

35 篇文章 1 订阅

订阅专栏

Scala

23 篇文章 0 订阅

订阅专栏

val data: RDD[String]

val data2 = data.map(x => {
      val y = x.split("\\|\\|", -1)
      y
    })

val data3 = data2.toDF()
data3.show(10)

+--------------------+
|               value|
+--------------------+
|[66,................]|
|[81,................]|
|[82,................]|
|[62,................]|
|[83,................]|

准备将value这一列下数组中的元素拆开成列并显示
新的列按col_{1,2…}命名

import org.apache.spark.sql.functions.col

    data3.select(
       col("value") +:
      (0 until COLUMNS_NAME.length).map(i => {
        col("value")(i).alias(s"col_$i")
      }): _*
    ).show()

参考资料：
原文链接
https://www.it1352.com/1933758.html
原文内容如下

问题描述
我有一个Spark数据框，看起来像:

id DataArray
a array(3,2,1)
b array(4,2,1)
c array(8,6,1)
d array(8,2,4)
我想将此数据帧转换为:

id col1 col2 col3
a 3 2 1
b 4 2 1
c 8 6 1
d 8 2 4
我应该使用什么功能?

推荐答案
使用apply:

import org.apache.spark.sql.col

df.select(
col(“id”) +: (0 until 3).map(i => col(“DataArray”)(i).alias(s"col$i")): _*
)