spark集群安装与配置

Spark有三种运行模式，分别为：

local模式-只运行在本地，相当于伪分布式

standalone模式-这种模式只需要安装Spark即可，使用自带的资源管理器

Spark on yarn/mesos模式-这种模式Spark将使用yarn/mesos作为资源管理器

一般来说，standalone适合只想体验一把Spark集群的人，如果想将Spark应用于生产环境，还需要借助第三方的资源调度模块来优化Spark的资源管理。

Spark以哪一种模式运行可以在执行spark-shell或者spark-submit命令时通过指定 --master参数来设置，如果不设置默认以local方式单机运行。

本次记录的是Spark 的安装与配置，使用的是基本的配置选项，如果想了解Spark的更多配置选项来优化Spark集群的性能可以参阅官方文档或者关注后续文章。

由于我想在Spark安装完成后运行在yarn之上，所以在配置过程中添加了一些hadoop的配置，如果想使用Spark on yarn需要安装Hadoop2.0以及以上版本。本例是在Hadoop2.4.0平台搭建，当然，如果仅是做学习体验用只使用local或standalone模式可以不用安装Hadoop。

关于Hadoop集群的安装部署，请参考：http://blog.csdn.net/u013468917/article/details/50965530

本次在上述双节点Hadoop集群的基础上安装Spark。两个节点分别为：
master 192.168.1.131
slave1 192.168.1.125

一、安装Scala

Spark是由Scala语言编写的，所以要想在机器上运行Spark就必须先安装Scala。下载地址：