虽然1.2.1版本也已经出来了,估计还是有很多人在用1.1.0或者1.0.0 版本。所以把编译和使用1.1.0版本时遇到的一些问题和解决思路写在这里,供参考。
因为我们对cdh版本的hadoop做了一些生产环境相关的修改,所以每次升级spark都需要基于源码自己进行编译。编译方法很简单,而且我在这篇文章 http://blog.csdn.net/amber_amber/article/details/41041787 也写过了,所以就不说了。
其实不管任何技术的学习,都是个逐步上手的过程。一步一步来,越来越熟悉的时候,你遇到的问题也就越来越少,遇到问题也知道应该从何处入手了。所以现在我们的环境已经升级到spark 1.2.1版本了,遇到的问题却显然没有当时钻研1.1.0时那么多了,而且也顺手了很多。
=========================================================
1. 重新编译spark(spark1.1.0-hadoop2.3.0)后,从client提交job,无法成功提交,报错如下:
<span style="font-family:Microsoft YaHei;font-size:14px;"><span style="font-family:Microsoft YaHei;font-size:14px;"> 14/12/24 10:58:39 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm2
14/12/24 10:59:18 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm1
14/12/24 10:59:18 WARN RetryInvocationHandler: Exception while invoking class org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics. Not retrying because failovers (30) exceeded maximum allowed (30)
java.net.ConnectException: Call From sjs/x.x.x.x to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.GeneratedConstructorAccessor3.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
at org.apache.hadoop.ipc.Client.call(Client.java:1413)
at org.apache.hadoop.ipc.Client.call(Client.java:1362)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy7.getClusterMetrics(Unknown Source)
at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:152)
at sun.reflect.GeneratedMethodAccessor1.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.