spark集群

不是root登录 ssh 命令行前加 sodo

sudo passwd root 开启root 用户

su root 切换为root用户登录

Ubuntu Server 14.04  开启 Root 用户 SSH 权限：
vi /etc/ssh/sshd_config
将 PermitRootLogin without-pass word 修改为 PermitRootLogin yes  即可。第 28 行

1 、设置 IP 地址、网关

1)可以使用默认

vim /etc/network/interfaces # 编辑网网卡配置文件
auto lo
iface lo inet loopback
auto eth0 # 开机自动连接网络
iface eth0 inet static #static 表示使用固定 ip ， dhcp 表述使用动态 ip
address 10.0.0.170 # 设置 ip 地址
netmask 255.255.255.0 # 设置子网掩码
gateway 10.0.0.254 # 设置网关

2、设置 dns

1）可以使用默认

nano /etc/resolv.conf # 编辑配置文件 , 添加以下内容
nameserver 202.101.172.35 # 设置首选 dns

3、修改主机名

root@Master:~# vim /etc/hostname

Master1

4、设置 apt-get 源，为快速安装软件做准备

apt-get update # 更新源
apt-get upgrade # 更新软件包

5、安装jdk1.8和scala2.10.4

查看本机上是否还有java可选。这里用到以下命令
$ sudo update-alternatives --list java

出现 update-alternatives: error:no alternatives for java

说明没有安装

把jdk  jar 包拷贝 解压

root@master:/tools#mkdir -p /usr/local/jdk
root@master:/tools# tar -zxf jdk-8u60-linux-x64.tar.gz -C /usr/local/jdk
root@master:/tools# tar -zxf scala-2.10.4.tgz -C /usr/local/

配置环境，这是关键的一步。

vim ~/.bashrc

export JAVA_HOME= /usr/local/jdk/jdk1.8.0_60/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/usr/local/scala-2.10.4
export PATH=${JAVA_HOME}/bin:$PATH
export PATH=$PATH:$SCALA_HOME/bin
root@master:/tools# source ~/.bashrc
root@master:/tools# java -version
root@master:/tools# scala -version

写个小脚本 分发
root@master:~# vim fenfa.sh
#!/bin/sh
for i in 1 2 3 4
do
scp -rq /usr/local/jdk1.8.0_60/ root@Worker$i:/usr/local/
scp -rq /usr/local/scala-2.10.4/ root@Worker$i:/usr/local/
scp -rq /root/.bashrc root@Worker$i:~

done

//更新系统配置文件

source ~/.bashrc

//添加ip映射

vim /etc/hosts

192.168.71.128 Master

192.168.71.129 Master2

192.168.71.130 Master3

192.168.71.131 Master4

//免秘钥登录

1）生成私钥

ssh-keygen -t dsa

ssh-copy-id -i .ssh/id_dsa.pub root@Master2

安装zookeeper

mkdir -p /usr/local/zookeeper

 tar -zxf zookeeper-3.4.6.tar.gz -C /usr/local/zookeeper/

apt-get install tree  //安装linux tree

//修改zoo_sample.cfg 为zoo.cfg

/usr/local/zookeeper/zookeeper-3.5.0-alpha/conf# mv zoo_sample.cfg zoo.cfg

vim zoo.cfg  //编辑

添加一下内容

dataDir=/usr/local/zookeeper/zookeeper-3.5.0-alpha/data
dataLogDir=/usrlocal/zookeeper/zookeeper-3.5.0-alpha/logs

server.0=Master:2888:3888
server.1=Master2:2888:3888
server.2=Master3:2888:3888
server.3=Master4:2888:3888

//创建两个文件夹

root@Master:/usr/local/zookeeper/zookeeper-3.5.0-alpha/conf# mkdir -p /usr/local/zookeeper/zookeeper-3.5.0-alpha/data
root@Master:/usr/local/zookeeper/zookeeper-3.5.0-alpha/conf# mkdir -p /usr/local/zookeeper/zookeeper-3.5.0-alpha/logs

//新建myid 并填写内容

echo 1 > /usr/local/zookeeper/zookeeper-3.5.0-alpha/data/myid

cat /usr/local/zookeeper/zookeeper-3.5.0-alpha/data/myid  //显示

//分发zookeeper到其他机器

scp -rq /usr/local/zookeeper/ root@Master2:/usr/local/

修改相对应的myid值

root@Master2: echo 1 > /usr/local/zookeeper/zookeeper-3.5.0-alpha/data/myid

//启动服务

/usr/local/zookeeper/zookeeper-3.5.0-alpha/bin/zkServer.sh start

/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-dfs.sh

/usr/local/hadoop/hadoop-2.6.0/sbin# ./start-yarn.sh

/usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin# ./start-all.sh

/usr/local/spark/spark-1.6.0-bin-hadoop2.6/sbin# ./start-history-server.sh