问题出在引入的jar包:spark-core_2.10-1.6.0.jar,其中引了javax.servlet.FilterRegistration这个类,但是找不到该类。
错误如下:
<span style="font-size:18px;">Caused by: java.lang.NoClassDefFoundError: javax/servlet/FilterRegistration
at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:136) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:129) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.spark-project.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:98) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:126) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:113) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.WebUI.attachPage(WebUI.scala:78) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:62) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:62) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) ~[scala-library-2.10.5.jar:na]
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) ~[scala-library-2.10.5.jar:na]
at org.apache.spark.ui.WebUI.attachTab(WebUI.scala:62) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:63) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:76) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:195) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:146) ~[spark-core_2.10-1.6.0.jar:1.6.0]
at org.apache.spark.SparkContext.<init>(SparkContext.scala:473) ~[spark-core_2.10-1.6.0.jar:1.6.0]
。。。。。。</span>
本地查找javax.servlet.FilterRegistration后发现存在不止一处,分别是javax.servlet-api.jar(3.0.1), org.eclipse.jetty.orbit.javax.servlet.jar(3.0.0.v201112011016), 虽然 jar包名不同,但类路径完全一样,经过一次尝试后,确认是javax.servlet-api.jar(3.0.1)中的类。
那么问题就来了,本地代码是存在这个jar包的,而且能够正常启动,唯一的问题就是线上的部署和本地不同。于是登陆线上集群,打开tomcat下的lib,果然发现了另一个版本的jar包 servlet-api.jar。搜索后发现, servlet-api.jar在版本升到3之后就更名为javax.servlet-api.jar,而且归属于同一家公司。继续搜索后,发现有人碰到过同样的问题,有人的回答就讲到了版本问题,这两个版本只能存在一个。
删除了tomcat下的 servlet-api.jar,替换成了javax.servlet-api.jar,重新部署,成功了。。。
然而,事情并没有结束,项目中之前能启用的功能突然不能用了,马上想到的是不是删除了servlet-api.jar的原因,查找了依赖后发现果然如此,因为代码中引用了2 .4版本的servlet-api.jar,直接删除后找不到其中的方法了。这下难办了,加进去,无法启动,不加进去,功能缺失。。。
没有办法了,硬着头皮重新加入了2.4版本,再启动。。。居然成功了~~功能也恢复了~~说好的两者会冲突呢!!!赤裸裸的坑啊
-------------------
结论:
javax.servlet-api.jar(3.0.1) 与servlet-api.jar 两者运行部冲突,但如果tomcat下仅有servlet-api.jar ,那么 tomcat不会加载工程中的javax.servlet-api.jar(3.0.1) ,此时会报找不到类,只要在lib下加入javax.servlet-api.jar(3.0.1) 就可以了。
方法:curl -o xx.jar http://sss.com/download // 从http://sss.com/download下载某个文件到本地并保存名为xx.jar