Spark2.1 DataFrameNaFunctions无fill方法解决

最新推荐文章于 2023-03-07 18:48:31 发布

Halo 咯咯

最新推荐文章于 2023-03-07 18:48:31 发布

阅读量717

点赞数

分类专栏： Spark 文章标签： Spark Dataframe

本文为博主原创文章，未经博主允许不得转载。基咯咯~

本文链接：https://blog.csdn.net/u010180815/article/details/106539941

版权

3 篇文章 0 订阅

订阅专栏

为了将DataFrame中多列null值转换为0，采用na.fill方式，代码如下：

_df.na.fill(0, Seq("col1", "col2", "col3"))

在Spark2.1中运行该代码，发生报错Spark version 2.1.0 returns following error，报错信息如下：

java.lang.NoSuchMethodError: org.apache.spark.sql.DataFrameNaFunctions.fill(JLscala/collection/Seq;)Lorg/apache/spark/sql/Dataset

spark2.1 版本暂时不支持 na.fill 写法，因此采用如下方式解决：

Seq("col1", "col2", "col3").foreach(col =>
            _df = _df.withColumn(col, when(_df(col).isNull, 0).otherwise(_df(col)))
        )

关注