spark一个版本问题引发的血案(java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler)

先看异常:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/jerry/.m2/repository/org/slf4j/slf4j-log4j12/1.7.10/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/data0/program/spark-1.6.1-bin-hadoop2.6.4/lib/spark-assembly-1.6.1-hadoop2.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
16/07/09 19:17:42 INFO SparkContext: Running Spark version 1.3.0
16/07/09 19:17:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/07/09 19:17:43 INFO SecurityManager: Changing view acls to: jerry
16/07/09 19:17:43 INFO SecurityManager: Changing modify acls to: jerry
16/07/09 19:17:43 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(jerry); users with modify permissions: Set(jerry)
16/07/09 19:17:44 INFO Slf4jLogger: Slf4jLogger started
16/07/09 19:17:44 INFO Remoting: Starting remoting
16/07/09 19:17:44 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@localhost:4090]
16/07/09 19:17:44 INFO Utils: Successfully started service 'sparkDriver' on port 4090.
16/07/09 19:17:44 INFO SparkEnv: Registering MapOutputTracker
16/07/09 19:17:44 INFO SparkEnv: Registering BlockManagerMaster
16/07/09 19:17:44 INFO DiskBlockManager: Created local directory at /tmp/spark-a250cf38-ad2c-4f20-8cb2-22f33bd7c391/blockmgr-6a6dbba7-a1de-41fc-99d0-bf0856c81fcf
16/07/09 19:17:44 INFO MemoryStore: MemoryStore started with capacity 945.5 MB
16/07/09 19:17:44 INFO HttpFileServer: HTTP File server directory is /tmp/spark-ce6f474b-70a6-4edf-be1f-ab6e904f29c8/httpd-1ef8f1f4-4a16-4f59-b99a-6eeceb9ece31
16/07/09 19:17:44 INFO HttpServer: Starting HTTP Server
16/07/09 19:17:44 INFO Server: jetty-8.y.z-SNAPSHOT
16/07/09 19:17:44 INFO AbstractConnector: Started SocketConnector@0.0.0.0:53269
16/07/09 19:17:44 INFO Utils: Successfully started service 'HTTP file server' on port 53269.
16/07/09 19:17:44 INFO SparkEnv: Registering OutputCommitCoordinator
16/07/09 19:17:44 INFO Server: jetty-8.y.z-SNAPSHOT
16/07/09 19:17:44 INFO AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040
16/07/09 19:17:44 INFO Utils: Successfully started service 'SparkUI' on port 4040.
16/07/09 19:17:44 INFO SparkUI: Started SparkUI at http://debian0:4040
16/07/09 19:17:44 INFO Executor: Starting executor ID <driver> on host localhost
16/07/09 19:17:44 INFO AkkaUtils: Connecting to HeartbeatReceiver: akka.tcp://sparkDriver@localhost:4090/user/HeartbeatReceiver
16/07/09 19:17:45 INFO NettyBlockTransferService: Server created on 46819
16/07/09 19:17:45 INFO BlockManagerMaster: Trying to register BlockManager
16/07/09 19:17:45 INFO BlockManagerMasterActor: Registering block manager localhost:46819 with 945.5 MB RAM, BlockManagerId(<driver>, localhost, 46819)
16/07/09 19:17:45 INFO BlockManagerMaster: Registered BlockManager
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler(Ljava/lang/String;Ljava/lang/String;)V
	at org.apache.spark.sql.execution.ui.SQLTab.<init>(SQLTab.scala:34)
	at org.apache.spark.sql.SQLContext$$anonfun$createListenerAndUI$1.apply(SQLContext.scala:1369)
	at org.apache.spark.sql.SQLContext$$anonfun$createListenerAndUI$1.apply(SQLContext.scala:1369)
	at scala.Option.foreach(Option.scala:236)
	at org.apache.spark.sql.SQLContext$.createListenerAndUI(SQLContext.scala:1369)
	at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:77)
	at com.spark.test.sql.SparkSqlJDBC2Mysql$.main(SparkSqlJDBC2Mysql.scala:21)
	at com.spark.test.sql.SparkSqlJDBC2Mysql.main(SparkSqlJDBC2Mysql.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

一开始想到的是scala版本的问题,所以就将scala版本由 2.10.6 修改成了 2.10.4,修改完以后,问题依旧。

然后就开始想,这是 spark 方法的问题,所以是spark版本的问题,由于自己导入了spark的lib库是1.6.1的,但是项目的pom文件中还是1.3.0版本的,所以修改成1.6.1以后,问题迎刃而解。

总结:注意版本版本版本的统一,重要的事情说三遍,一般scala遇到 

java.lang.NoSuchMethodError

异常都是版本的问题,切记,切记,切记,重要的事情再说三遍。

### 回答1: "java.lang.NoSuchMethodError: org.apache.poi.util.IOUtils.toByteArray" 意味着在程序运行时,找不到类 "org.apache.poi.util.IOUtils" 中的方法 "toByteArray"。这可能是因为程序需要的 POI 版本与已安装的版本不匹配或者是因为依赖缺失导致的。建议检查程序的依赖配置,确保所有需要的 POI 版本都已安装。 ### 回答2: java.lang.NoSuchMethodError: org.apache.poi.util.IOUtils.toByteArray是Java运行时异常,表示在调用某个方法时,JVM无法找到指定的方法。 该异常通常发生在使用Apache POI库进行文件读取和写入时。在这种情况下,错误的原因可能是版本不匹配或依赖关系不正确。 要解决这个问题,可以尝试以下几种方法: 1. 检查Apache POI的版本:确保使用的Apache POI版本与当前项目的其他依赖项兼容。如果版本不一致,可能会导致该错误。 2. 更新依赖项:如果已经使用较旧的Apache POI版本,请尝试更新依赖项以使用最新版本Apache POI。 3. 清理和构建项目:有时,旧的编译文件和缓存可能会导致错误。尝试清理和重新构建项目,以确保所有文件都是最新的。 4. 检查类路径:确保所有必需的库和依赖项都正确地包含在类路径中,并且没有重复的库存在。 5. 阅读文档和错误日志:查阅Apache POI的文档和错误日志,以获取更多关于该异常的特定信息和解决方案。 请注意,以上方法只是一些常见的解决方案,具体解决方法可能因实际情况而异。如果问题仍然存在,可能需要进一步调查和排查该异常的具体原因。 ### 回答3: java.lang.NoSuchMethodError: org.apache.poi.util.IOUtils.toByteArray的错误是指在Java代码中调用了org.apache.poi.util.IOUtils工具类的toByteArray方法, 但在运行时未找到该方法。 这种错误通常是由于版本不匹配所引起的。原因可能是代码中使用的poi库版本与正在运行的poi库版本不兼容。为了解决该问题,可以尝试以下几种方法: 1. 检查代码中使用的poi库版本是否正确。可以查看pom.xml文件或使用的构建工具配置文件来确定使用的poi版本。确保代码中使用的poi版本与正在运行的poi版本一致。 2. 检查项目的依赖关系。如果使用了其他库,这些库可能与poi库版本冲突。可以通过更新依赖库版本或去除冲突的依赖来解决问题。 3. 清除缓存并重新编译项目。有时旧版本的库仍然存在于编译后的二进制文件中,导致错误。在清除缓存后,重新编译项目可以确保使用最新的库版本。 4. 如果以上方法都无效,可以尝试使用不同版本的poi库。可以在代码中更改poi的版本,然后重新编译和运行项目。 总结,java.lang.NoSuchMethodError: org.apache.poi.util.IOUtils.toByteArray错误是由于代码中调用的poi库版本与正在运行的poi库版本不匹配引起的。可以通过检查版本、解决依赖冲突、清除缓存或更改版本等方法来解决该问题
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值