SpringBoot整合spark_sql：报错解决java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerExcept_java.lang.classnotfoundexception: org.codehaus.jan-CSDN博客

本文链接：https://blog.csdn.net/qq_44768036/article/details/129136049

在尝试使用SparkSQL连接MySQL数据库并执行查询后，遇到了`java.lang.ClassNotFoundException:org.codehaus.commons.compiler.UncheckedCompileException`的异常。为了解决这个问题，文章提出了添加`commons-compiler`依赖的解决方案，具体是引入`org.codehaus.janino:commons-compiler:2.7.8`的Maven依赖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sql连接代码：

public void sqlTest() {

            Dataset<Row> jdbcData = sparkSession.read()
                    .format("jdbc")
                    .option("url", "jdbc:mysql://66.100.172.56:3306/user?useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true&allowMultiQueries=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowPublicKeyRetrieval=true&autoReconnect=true")
                    .option("dbtable", "(SELECT * FROM sys_user) tmp")
                    .option("user", "root")
                    .option("password", "123456")
                    .option("driver", "com.mysql.jdbc.Driver")
                    .load();
            //打印表结构
            jdbcData.printSchema();
            //显示sql查询的结果
            jdbcData.show();

            JavaRDD<Row> rowRDD = jdbcData.javaRDD();
            //输出结果
            System.out.println(rowRDD.collect());

    }

所用依赖：


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.4</version>
            <scope>provided</scope>
        </dependency>

在使用spark连接数据库后，在调用jdbcData.show()时，出现以下异常:java.lang.ClassNotFoundException: org.codehaus.commons.compiler.UncheckedCompileException

解决方法

加上commons-compiler依赖：

        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>commons-compiler</artifactId>
            <version>2.7.8</version>
        </dependency>