hadoop+scala+spark搭建的血泪教训

一年前就已经搭建好了，忙于学习其他方面的，hadoop和spark的学习就耽误了，昨天开始重新学习。原本搭建的环境是完全没有问题的，但是spark总是启动不起来。本弱小女子熬到晚上1点40外加早上又找了三个小时，才找到这个弱智错误，暗暗骂了自己好多遍傻逼。
运行：./bin/run-example org.apache.spark.examples.SparkPi 是没有问题的

因为环境变量里配上上了hadoop的sbin，所以start-all.sh这条语句无论在哪里运行（甚至在spark的sbin里）其实都是在运行hadoop里sbin里的start-all.sh，也就是语句冲突的问题。
解决办法：
通过此方法访问
$HDOOP_HOME/sbin/start-dfs.sh
$HDOOP_HOME/sbin/start-yarn.sh
$SPARK_HOME/sbin/start-all.sh

另说其他的注意点
一定要找到互相依赖的框架，比如本小女孩使用的是hadoop2.3.1+spark-2.3.1-bin-hadoop2.6+scala-2.11.7+jdk1.8.0_111。各个框架的版本一定要兼容。
附上搭建好的页面

另外

在有新的机器加入时，需要重新格式化节点。格式化节点之前需要删除所有机器的日志，本集群中是（hadoop和tmp日志）