在Spark中有多种可以构建或者引用columns的方法,但是最简单的还是使用col
或者column
函数。方法如下:
//in Scala
import org.apache.spark.sql.functions.{col, column}
col("myColumnA")
column("myColumnB")
#in Python
from pyspark.sql.functins import col, column
col("myColumnA")
column("myColumnB")
在Scala中,还有其他一些特殊的并且更方便的方法来引用columns。例如以下的语法糖同样可以用来引用或者创建一个column(性能上没有差别):
//in Scala
$"myColumnA"
'myColumnB
$
允许我们指定某个字符串来引用某个表达式(exprossion)。'
被称作 symbol ,在Scala中可以用来引用其他标识符。
它们都可以用来作为通过列名引用column对象的快捷方法。
参考资料
Spark - The Definitive Guide