Spark jdbc 读取hive报java.sql.SQLException: Method not supported

 

简述

jar包版本冲突是最令人头疼的问题，明明代码逻辑没有错，但用错了版本就会出问题，有时候会对错误无从着手。不同的场景可能解决办法不同，下面是我遇到的一个关于jar包冲突的问题。

 

解决过程

报错日志

找出报错代码位置

    var sourceDF = spark.read.jdbc(url,dbtb,prop).toDF(fields.split(","):_*)

是spark jdbc访问hive出了问题，代码很简单，按以往的经验看要么是hive的hiveserver2出了问题，要么是jar包版本出了问题。

hive server2 运行良好

那么剩下最有问题的就是版本问题了

查看hive 版本，2.1.1-cdh6.3.1

最近服务器的CDH升级为cdh6.3.1版本了

那么你的代码pom需要更改spark版本,改为2.4.0-cdh6.3.1

scope改为provided，使用集群中的jar包，因为你不改的话默认会使用compile模式，就把你本地的jar报给打包了，有可能还会造成冲突。

例如

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.0-cdh6.3.1</version>
            <scope>provided</scope>
        </dependency>

 

重新打包运行成功