Ubuntu 16.04下实现spark2.0.1的完全分布式安装

电脑三台(局域网中）：　

名字	IP
Master	192.168.1.183
Slave1	192.168.1.193
Slave2	192.168.1.184

---

1 . 为每台机器配置一个名为spark用户，用户密码自己记住
2. 安装ssh(三台）
2.1, sudo apt-get install ssh
2.2,安装完成后，执行ssh-keygen -t rsa -P “”（一路回车即可）
2.3 ，转到.ssh文件中，执行cat id_rsa.pub >> authorized_keys，测试ssh Master看是否可以无密码登录
2.4，在Master下执行scp ~/.ssh/authorized_keys spark@Slave1:~/.ssh/来实现Master可以无密码登录Slave这些节点中。
3. 安装Java(Master）
3.1 下载java linux版本，在/home/spark下建立java文件，将文件解压到这tar -xvf jdk-8u111-linux-x64.tar.gz
3.2 配置环境变量 sudo gedit ~/.bashrc 在最下方写入

exportJAVA_HOME=/home/spark/java/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

3.3 java -version 测试是否成功
3.4 scp /home/spark/java spark@Slave1:~/java/将文件发給子节点，并照上面方法配java 环境。
4. 安装hadoop2.7(Master)
4.1 下载并解压到/home/spark/hadoop中
4.2 配置hadoop的环境变量

exportJAVA_HOME=/home/spark/java/jdk1.8.0_111
export JRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/home/spark/hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

4.3 配置core-site.xml

<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:8020</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/spark/hadoop/hadoop-2.7.3/tmp</value>
               <description>Abase for other temporary   directories.</