[Scala] 关于org.apache.spark.sql.Row

背景

Row（Catalyst Row）表示关系运算符的一行输出。它是一个通用行对象，具有有序的字段集合，可以通过索引（generic access by ordinal），字段名（primitive access）或使用Scala的模式匹配来访问。
要创建新Row，请在Java中使用RowFactory.create()或在Scala中使用Row.apply()。

构造Row

Row的伴生对象提供工厂方法，可以从元素集合（apply），元素序列（fromSeq）和元组（fromTuple）创建Row实例。

import org.apache.spark.sql.Row

// Create a Row from values.
scala> Row(1, "hello")
res0: org.apache.spark.sql.Row = [1,hello]

// by apply
scala> Row.apply(1, "hello")
res0: org.apache.spark.sql.Row = [1,hello]

// Created a Row from a Seq of values.
scala> Row.fromSeq(Seq(1, "hello"))
res1: org.apache.spark.sql.Row = [1,hello]

// Created a Row from a Tuple of values.
scala> Row.fromTuple((0, "hello"))
res2: org.apache.spark.sql.Row = [0,hello]

解析Row值

一般来说，我们可以通过索引（generic access by ordinal）的通用访问来访问Row值

import org.apache.spark.sql.Row

scala> val row = Row(1, true, "a string", null)
row: org.apache.spark.sql.Row = [1,true,a string,null]

// by index
scala> val firstValue = row(0)
firstValue: Any = 1

scala> val fourthValue = row(3)
fourthValue: Any = null

// by get
scala> val firstValue = row.get(0)
firstValue: Any = 1

scala> val fourthValue = row.get(3)
fourthValue: Any = null

// by apply
scala> val firstValue = row.apply(0)
firstValue: Any = 1

scala> val fourthValue = row.apply(3)
fourthValue: Any = null

按顺序进行的通用访问（使用索引、apply或get）返回Any类型的值。可以使用带索引的getAs查询具有适当类型的字段。

val row = Row(1, "hello")

scala> row.getAs[Int](0)
res1: Int = 1

scala> row.getAs[String](1)
res2: String = hello

Row与模式匹配

而在Scala中，还可以在模式匹配中提取Row对象中的字段。 例子如下：

scala> val res4= Row(1, "hello") match { 
  case Row(key: Int, value: String) =>
  key -> value
}
res4: (Int, String) = (1,hello)

参考资料

Row (Spark 2.4.3 JavaDoc)
Row · The Internals of Spark SQL