spark on yarn 的安装

spark有两种集群模式

分别是spark on yarn和standalone

spark on yarn：

运行在 yarn（Yet Another Resource Negotiator） 资源管理器框架之上，由 yarn 负责资源管理，Spark 负责任务调度和计算。

standalone：

类似于单机模式

我的配置环境：

软件环境：

Ubuntu 14.04

Hadoop 2.6.2

Spark 1.5.2

JDK 1.80u66

Scala 2.10.6

参照链接：

www.aboutyun.com/thread-12798-1-1.html

这个链接用来安装hadoop

wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

这个链接实现hadoop yarn的搭建(yarn原来是hadoop的框架，spark也可在上面跑）+spark的安装和配置，安装yarn前需要先安装hadoop的

值得注意的点：

环境变量一定要正确

文件的权限要正确

ip不要经常变，不要拔网线（因为配置了ssh免密登陆）