spark的独立模式集群部署

spark有三种集群部署方式：

1、独立部署模式standalone，spark自身有一套完整的资源管理方式

2、架构于hadoop之上的spark集群

3、架构于mesos之上的spark集群

    尝试了下搭建第一种独立部署模式集群，将安装方式记录如下：

环境ubuntu 12.04 （两台），部署方式是和hadoop类似，先在一台机器上部署成功后直接将文件打包拷贝到其他机器上，这里假设现在A机器上部署，并且A为master，最后B为slave机器

    A和B均上创建用户spark

sudo useradd spark

    以后spark的目录在集群所有机器的/home/spark/spark下(第一个spark是用户名，第二个spark是spark文件目录名)
    保证A能无密码登陆到B上的spark用户，在ssh里面设置

这部分是如无特别说明均在master机器(A)上配置

0 首先保证A能无密码方式ssh至  localhost和B，具体方式参见：点击打开链接

   0.0 这里假设机器A的IP是192.168.1.131,机器B的IP地址是192.168.1.139,且机器A的hostname就是A，机器B的hostname是B

      在A上执行gedit /etc/hosts后，末尾添加192.168.1.139 B

      在B上执行gedit /etc/hosts后，末尾添加192.168.1.131 A

      这样可以使得A和B机器可以用过彼此的hostname访问，而不是一长串IP

   0.1 （机器A上：）在A机器上执行

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh localhost

   那么A可以实现无密码登陆localhost

  

  0.2 （机器B上：