spark有三种集群部署方式:
1、独立部署模式standalone,spark自身有一套完整的资源管理方式
2、架构于hadoop之上的spark集群
3、架构于mesos之上的spark集群
尝试了下搭建第一种独立部署模式集群,将安装方式记录如下:
环境ubuntu 12.04 (两台),部署方式是和hadoop类似,先在一台机器上部署成功后直接将文件打包拷贝到其他机器上,这里假设现在A机器上部署,并且A为master,最后B为slave机器
A和B均上创建用户spark
sudo useradd spark
以后spark的目录在集群所有机器的/home/spark/spark下(第一个spark是用户名,第二个spark是spark文件目录名)
保证A能无密码登陆到B上的spark用户,在ssh里面设置
这部分是如无特别说明均在master机器(A)上配置
0 首先保证A能无密码方式ssh至 localhost和B,具体方式参见:点击打开链接
0.0 这里假设机器A的IP是192.168.1.131,机器B的IP地址是192.168.1.139,且机器A的hostname就是A,机器B的hostname是B
在A上执行gedit /etc/hosts后,末尾添加192.168.1.139 B
在B上执行gedit /etc/hosts后,末尾添加192.168.1.131 A
这样可以使得A和B机器可以用过彼此的hostname访问,而不是一长串IP
0.1 (机器A上:)在A机器上执行
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh localhost
那么A可以实现无密码登陆localhost
0.2 (机器B上: