spark分布式环境搭建（待整理完整）

主要过程有：

一、安装前的准备：

先将26作为主节点搭建环境。以下目录都基于/home/hml/xtu1/。

  192.168.1.126  master

  192.168.1.123  slave1

1.      环境：

Ubuntu 17.0

JDK1.8.0_161

Scala-2.11.8

Hadoop-2.7.4

Spark-2.2.1-bin-hadoop2.7

2.      安装vim编辑器（dmdb-26）

3.      安装SSH，配置SSH免密码登录

4.      Ubuntu下设置静态IP

5.      本机电脑安装好xshell和xftp

二、安装过程：

1.      JDK的安装与配置

2.      Scale的安装与配置

3.      Hadoop的安装与配置

4.      Spark的安装与配置

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

实验步骤记录：

0.      修改主机名和添加主机IP与主机名映射

1）  将之前的修改为dmdb-26:

$sudo vim /etc/hostname

2）  修改127.0.0.1后面的主机名：

$sudo vim /etc/hosts     

3）添加映射，在后面添加： $sudo vim /etc/hosts

192.168.1.126 dmdb-26

192.168.1.123 dmdb-23 （slave1）

1.     安装SSH，配置SSH免密码登录

进入主目录/home/hml

1）  查看是否安装了SSH:

$sudo ps -e |grep ssh

2）  进入root目录：

$cd /home/hml

3）  $sudo apt-get update

4）  客户端和服务端都安装：

$sudo apt-get install openssh-server

5）  测试是否可以登录：

$ssh –l dmdb 192.168.1.126

6）  开始配置免密码登录：

$cd /home/hml/

$ssh-keygen -t rsa -P ""

7）  将公钥追加到authorized_keys 文件中:

$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

8）  赋予authorized_keys 文件权限:

$chmod600 .ssh/authorized_keys

9）  验证免密码登录：

$ssh localhost

2. Ubuntu下设置静态IP

1）  查看网卡名称，知道dmdb-26网卡为enp9s0f0

$ifconfig

2）  查看默认网关地址，192.168.1.1

$route

3）  在下面文件中注释掉之前的配置，并添加以下内容：

$vim /etc/network/interfaces

4）  重启使静态IP设置生效。

 3. JDK的安装与配置

1）卸载jdk：$rpm -e jdk （强制卸载：rpm -e –nodepsjdk）

  sudo apt-get remove openjdk

2）进入路径：$cd /home/hml/xtu1（创建目录：$sudo mkdir /usr/lib/jvm）

3）解压：$sudo tar -xzf jdk-8u161-linux-x64.tar.gz

其他格式的解压命令：

tar:tar –xvf

gz:gzip -d /gunzip

tar.gz和tgz: tar -xzf

4）修改配置文件：$sudo vim /etc/profile

添加：

exportJAVA_HOME=/home/hml//xtu1/jdk1.8.0_161

exportJRE_HOME=/home/hml/xtu1/jdk1.8.0_161/jre

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

5）使配置文件生效：$source /etc/profile

6）验证：$java -version

4.Scala的安装与配置

Scala安装过程与JDK类似。

1）创建目录：sudo mkdir /home/hml/xtu1/scala

2）解压到目录/home/hml/xtu1/scala ：

$sudo tar -xzf scala-2.11.8.tgz -C/home/hml/xtu1/scala

3）环境变量的配置如下：

$sudo vim /etc/profile

添加：

exportSCALA_HOME=/home/hml/xtu1/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

4）最后使环境变量生效:

$source/etc/profile

 

5.hadoop的安装与配置

1.解压到/home/hml/xtu1/:

$sudo tar -xzf hadoop-2.7.4.tar.gz-C /home/hml/xtu1

2.配置环境变量  

   $ sudo vim /etc/profile

添加：

exportHADOOP_HOME=/home/hml/xtu1/hadoop-2.7.4

exportPATH=$PATH:$HADOOP_HOME/bin

exportPATH=$PATH:$HADOOP_HOME/sbin

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

3.使环境变量生效：$ source /etc/profile   

4. 在/home/hml/xtu1/hadoop目录中创建几个文件夹：

$cd /usr/local/hadoop

/usr/local/hadoop$mkdir tmp

/usr/local/hadoop$mkdir tmp/dfs

/usr/local/hadoop$mkdir tmp/dfs/data

/usr/local/hadoop$mkdir tmp/dfs/name

/usr/local/hadoop$sudo chown hadoop:hadoop tmp

 

5.进入目录/home/hml/xtu1/hadoop-2.7.4/etc/hadoop/，在该目录下配置7个文件：hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml，yarn-env.sh，slaves，masters。参照各文件的xxx.xml.template(对应的模板）修改。

（1）hadoop-env.sh

exportJAVA_HOME=/home/hml/xtu1/jdk1.8.0_161

（2）core-site.xml

（3）hdfs-site.xml

（4）mapred-site.xml

（5）yarn-site.xml

（6）slaves：$sudo vim slaves

    将localhost去掉，加上dmdb-23等子节点，一行一个。

（7）masters：sudo vim masters

    写上主节点dmdb-26。

（8）验证hadoop安装好：

1）第一次启动Hadoop需要初始化，切换到/home/hml/xtu1/hadoop-2.7.4/bin目录下输入：$hadoop namenode -format

2）切换到/home/hml//xtu1/hadoop-2.7.4/sbin目录，启动HDFS输入:

     $start-dfs.sh

(这里还没有配置dmdb-23,所以这里显示找不到)

    3）启动YARN,输入:$start-yarn.sh

 

6.spark的安装与配置

1.       进入目录：$cd /home/hml/xtu1

2.       解压到目录/home/hml/xtu1/spark-2.2.1-bin-hadoop2.7 

$sudo tar -xzf spark-2.2.1-bin-hadoop2.7.tgz -C/home/hml/xtu1

3.       配置环境变量

$ sudo vi /etc/profile

配置如下：

export SPARK_HOME=/home/hml//xtu1/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

4.       使变量生效：$ source /etc/profile  

5.       进入spark-2.2.1-bin-hadoop2.7/conf/目录，编辑两个文件：spark-env.sh，slaves

1）$ sudo vim /conf/spark-env.sh

2）$ vim slaves

 增加所有的子节点主机名，dmdb-23，一行一个

6. 在spark-1.1.0/sbin/目录下启动spark集群（仅在master结点）

$ start-all.sh

7.将spark  master节点环境复制到其他slave节点