idea scala文件报错java.lang.NoSuchMethodError解决

一开始SparkSession.builder().appName()方法报错。java.lang.NoSuchMethodError:org.apache.spark.internal.config.package$.EXECUTOR_ALLOW_SPARK_CONTEXT(),上网搜索了
错,说是spark和scala版本不对,我的scala是2.12.7,网上说spark3.0对应的scala要至少2.12.10,于是费劲力气升级scala,还是报错。

然后终于找到一个解决办法就是,maven换了使用人数更多的版本,https://mvnrepository.com/search?q=spark

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.1</version>#原本是3.0.0
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.1</version>
        </dependency>

object spark_sql {
  def main(args: Array[String]) {

    //创建 SparkConf()并设置 App 名称
    val spark = SparkSession.builder().master("local")
      .appName("Spark SQL basic example")
      //      .config("spark.some.config.option", "some-value")
      .getOrCreate()
    //导入隐式转换
    import spark.implicits._
    //读取本地文件,创建 DataFrame
    val df = spark.read.json("D:/githubFile/learning-spark/src/python/people.json")
    //打印
    df.show()
    //DSL 风格:查询年龄在 21 岁以上的
    df.filter($"age" > 21).show()
    //创建临时表
    df.createOrReplaceTempView("persons")
    //SQL 风格:查询年龄在 21 岁以上的
    spark.sql("SELECT * FROM persons where age > 21").show()
    //关闭连接
    spark.stop()
  }

}

people.json内容如下:
在这里插入图片描述
成功:
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值