Spark之Column

前言

如果使用DataFrame或DataSet分析数据，那么Column这个类是无时无刻都在使用的

什么是Column

Column是DataFrame中的数据计算出来的
根据字面意思也可以知道，它就是代表DataFrame的一列数据，它是org.apache.spark.sql包下的一个类

如何创建Column

df("columnName")            // On a specific `df` DataFrame.
col("columnName")           // A generic column not yet associated with a DataFrame.
col("columnName.field")     // Extracting a struct field
col("`a.column.with.dots`") // Escape `.` in column names.
$"columnName"               // Scala short hand for a named column.

可以将多个的Column组合一起来形成一个复杂的表达式

$"a" + 1
$"a" === $"b"
$"a" =!= $"b"

后记

Column的使用可以参考官网，它的API并不多，而且比较好理解