cloudera manager安装CDH版本的spark 无法连接解决办法

前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。

最近使用了spark 发现7077无法连接。

 这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。

毕竟是cloudera manger安装的，而且安装过程中还出现了一些问题，找了很多资料，发现都答非所问。

集群上的spark 实例 gateway 都是不适用，无状态，是不是这个的问题？

又找了一堆资料，得出的结论：白费半天劲，着这个毛关系都没有！

那就按照传统的形式安装spark 检查哪些配置文件的内容，都是否正常吧。反正都快放弃了！！

先用

jps

看一下 ，我机器都开着呢，组件也开着呢，看看是不是有master和work 进程，仔细查看一下，什么都没有！

原来没有开启spark 啊，找到sbin下的启动程序，咱们给他启动一下。

what the fu?k ~

找到spark的源码安装目录，（其实很不好找，目标地址不明确，cloudera manager 安装的地址都乱遭的）

终于找到了，去看看conf下对应的配置信息，好么，slave都没有，该配置的信息都没有，那好咱们配置一下。

配置好了从节点之后，再去启动spark，告诉我这些找不到JAVA_HOME

你在开玩笑么，我其他组件都跑的好好的。到你这就告诉我找不到JAVA_HOME

我给你配置一个，找到spark-env文件，最后给他追加上java环境的位置

再次start-all.sh

还是找不到，我都告诉你了在哪了，你要还找不到。

那咱再次配置，找到spark-conf.sh 再给他追加一行JAVA_HOEM

启动，可以启动了，但是从节点有故障，发现spark-env下没有从节点信息。

去给他定制一个从节点信息。

什么memary，什么cores

乱遭的一堆给他怼上，

再次启动，可以跑了，OK，那就开心的可以玩耍了

测试一下集群的是不是真的可以跑，我们搞一个自带的测试脚本，先给他来迭代1万次。

spark-submit --master spark://192.168.30.111:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-cdh5.8.5-hadoop2.6.0-cdh5.8.5.jar 100000000

至此，集群就已经可以使用了，可以开心快乐的将风骚帅气的代码，放上去找bug了