spark 1.1.0 编译使用 & 爬坑记录

虽然1.2.1版本也已经出来了，估计还是有很多人在用1.1.0或者1.0.0 版本。所以把编译和使用1.1.0版本时遇到的一些问题和解决思路写在这里，供参考。

因为我们对cdh版本的hadoop做了一些生产环境相关的修改，所以每次升级spark都需要基于源码自己进行编译。编译方法很简单，而且我在这篇文章 http://blog.csdn.net/amber_amber/article/details/41041787 也写过了，所以就不说了。

其实不管任何技术的学习，都是个逐步上手的过程。一步一步来，越来越熟悉的时候，你遇到的问题也就越来越少，遇到问题也知道应该从何处入手了。所以现在我们的环境已经升级到spark 1.2.1版本了，遇到的问题却显然没有当时钻研1.1.0时那么多了，而且也顺手了很多。

=========================================================

1. 重新编译spark(spark1.1.0-hadoop2.3.0)后，从client提交job，无法成功提交，报错如下：

<span style="font-family:Microsoft YaHei;font-size:14px;"><span style="font-family:Microsoft YaHei;font-size:14px;">		14/12/24 10:58:39 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm2
		14/12/24 10:59:18 INFO ConfiguredRMFailoverProxyProvider: Failing over to rm1
		14/12/24 10:59:18 WARN RetryInvocationHandler: Exception while invoking class org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics. Not retrying because failovers (30) exceeded maximum allowed (30)
		java.net.ConnectException: Call From sjs/x.x.x.x to 0.0.0.0:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
		        at sun.reflect.GeneratedConstructorAccessor3.newInstance(Unknown Source)
		        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
		        at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
		        at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
		        at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
		        at org.apache.hadoop.ipc.Client.call(Client.java:1413)
		        at org.apache.hadoop.ipc.Client.call(Client.java:1362)
		        at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
		        at com.sun.proxy.$Proxy7.getClusterMetrics(Unknown Source)
		        at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationClientProtocolPBClientImpl.getClusterMetrics(ApplicationClientProtocolPBClientImpl.java:152)
		        at sun.reflect.GeneratedMethodAccessor1.invoke(Unknown Source)
		        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
		        at java.lang.reflect.Method.invoke(Method.java:606)
		        at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
		        at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
		        at com.sun.