版本:spark2.4.8
模式:spark on yarn
具体错误:访问history-web的时候,一片空白,看不到任何任务,仔细看了conf下的配置没问题,
配置在hdfs,目录下也的却有application之类的目录。然后浏览器F12发现接口方法报错,信息为java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()Ljava/util/Map;
搜索了这个方法来源于jersey-core。由于是spark on yarn,yarn的jersy-core版本是1.9,我把这个包移到了spark的jar目录,发现还是这样,于是反编译此包发现还没有此类。于是下载了git上jersy1.10的源码,jersy-core模块的pom下添加
<dependency> <groupId>javax.ws.rs</groupId> <artifactId>javax.ws.rs-api</artifactId> <version>2.0.1</version> </dependency>
注释掉
<dependency> <groupId>javax.ws.rs</groupId> <artifactId>jsr311-api</artifactId> <version>1.1.1</version> <scope>provided</scope> </dependency>
随便找一个类import javax.ws.rs.core.Application,点进去看有ge