SparkSesssion中import spark.implicits._无法导入

**

本人SparkSession如下方式创建,造成了import spark.implicits._无法导入,以至于在RDD转DS时一直报错

**

 var spark: SparkSession = null
    if (runModel == "local") {
      spark = SparkSession.builder().config(sparkconf).master("local").getOrCreate()
    } else {
      spark = SparkSession.builder().config(sparkconf).master("spark://hadoop1:7077").getOrCreate()
    }

原因很简单,我已经提前声明spark=null,在导import spark.implicits.时自然无法导入,解决方法也很简单,在其他object中创建方法,把spark:SparkSession当做参数传入,然后在该方法中import spark.implicits.,即可用相关方法,新创建的object(名为RDD2DS,Ds为样例类)如下:

object RDD2DS{
  def rdd2ds(spark:SparkSession,rddds:RDD[Ds]):Dataset[Ds]={
    import spark.implicits._
    val ds: Dataset[Ds] = spark.createDataset(rddds)
    ds
  }
}

在主代码中如下引用:

val ds2: Dataset[Ds] = RDD2DS.rdd2ds(spark, rddds)

再次运行即可达到RDD转DS。

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值