spark value $ is not a member of StringContext

最新推荐文章于 2023-12-04 21:09:21 发布

墨兰公子

最新推荐文章于 2023-12-04 21:09:21 发布

阅读量2.3k

点赞数

分类专栏： Scala Spark SparkSQL

本文链接：https://blog.csdn.net/weixin_45441740/article/details/121207263

版权

SparkSession 隐式转换 DataFrame 错误解决过滤

关键词由CSDN通过智能技术生成

Scala 同时被 3 个专栏收录

6 篇文章 0 订阅

订阅专栏

Spark

4 篇文章 0 订阅

订阅专栏

SparkSQL

3 篇文章 0 订阅

订阅专栏

spark value $ is not a member of StringContext

问题描述：


Error:(61, 40) value $ is not a member of StringContext
    val click= df.filter($"e_type" === "click")

解决办法

在创建的SparkSession对象后，引入【implicits._】


val spark = SparkSession.builder()
      .master("local[*]")
      .appName(s"${this.getClass.getName}")
      .getOrCreate()

val df = spark.read.json(inputPath)
    import spark.implicits._
    val click: Dataset[Row] = df.filter($"e_type" === "click")