Spark ClassNotFoundException $$anonfun$2

最新推荐文章于 2024-07-02 00:45:07 发布

fansy1990

最新推荐文章于 2024-07-02 00:45:07 发布

阅读量1.8k

点赞数

文章标签： spark classnotfound classpath

本文链接：https://blog.csdn.net/fansy1990/article/details/79159074

版权

当使用Java Web提交任务到Spark Standalone集群时，出现ClassNotFoundException: a.b.c.Test$$anonfun$1。尽管主类a.b.c.Test能找到，但其内部匿名函数类找不到。解决方案是将包含主类的jar包加入Executor的Classpath，通过设置spark.jars参数来确保所有必要的类都可访问。

摘要由CSDN通过智能技术生成

Spark ClassNotFoundException $$anonfun$2

1. 软件环境：

软件	版本
Spark	原生1.6.0
Hadoop	原生2.6.5

2. 应用场景&问题描述

使用Java Web提交任务到Spark Standalone集群中运行任务，运行任务的过程中，指定主类，比如a.b.c.Test，那么主类是可以被调用的。比如已经运行到a.b.c.Test中的代码，但是接着会报诸如：ClassNotFound : a.b.c.Test$$anonfun$1这样的异常，如下所示：
异常图片