这篇博客介绍了如何在Scala中使用Spark DataFrame修改列的可空属性。提供了`setNullableStateOfColumn`函数，用于改变指定列的可空状态，并给出了通过‘pimp my library’模式直接调用的方法。此外，还提到了两种备选方案，一种是批量设置所有列的可空状态，另一种是通过反射创建更通用的解决方案。
回答
与进口
import org.apache.spark.sql.types.{StructField, StructType}
import org.apache.spark.sql.{DataFrame, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
你可以用
/**
* Set nullable property of column.
* @param df source DataFrame
* @param cn is the column name to change
* @param nullable is the flag to set, such that the column is either nullable or not
*/
def setNullableStateOfColumn( df: DataFrame, cn: String, nullable: Boolean) : DataFrame = {
// get schema
val schema = df.schema
// modify [[StructField] with name cn
val newSchema = StructType(schema.map {
case StructField( c, t, _, m) if c.equals(cn) => StructField( c, t, nullable = nullable, m)
case y: StructField => y
})
// apply new schema
最低0.47元/天 解锁文章
552
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
