Spark基础学习笔记04：搭建Spark伪分布式环境

零、本讲学习目标
学会搭建Spark伪分布式环境
学会启动Spark Shell进行交互式操作
学会使用Spark WebUI查看运行状态
Spark单机伪分布式是在一台机器上既有Master，又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。

一、搭建伪分布式Hadoop
（一）登录ied虚拟机
利用win7虚拟机上的FinalShell登录ied虚拟机

本机远程桌面连接win7虚拟机【对外IP地址：192.168.177.116，私有IP地址：192.168.1.100】

虚拟机ied上已经安装了Spark单机版环境，单机版Spark不需要Hadoop，但是Spark伪分布式环境就需要建立在Hadoop伪分布式环境基础之上。

（二）配置免密登录
1、在ied虚拟机上生成密钥对
执行ssh-keygen命令后，一直敲回车，生成节点的公钥和私钥，生成的文件id_rsa会自动放在/root/.ssh目录下，然后我们可以把公钥发往远程机器或本机。

2、将生成的公钥发送到本机
执行命令：ssh-copy-id root@ied

3、验证虚拟机是否能免密登录本机
执行命令：ssh ied，再执行命令：exit

（三）下载与Spark版本匹配的Hadoop安装包
下载链接：https://pan.baidu.com/s/1iFS66cwNcOqrlXBas-3Fxw 提取码：f1lw

（四）上传Hadoop安装包
将Hadoop安装包上传到虚拟机ied的/opt目录

（五）将Hadoop安装包解压到指定目录
执行命令：tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local

（六）查看Hadoop目录
1、查看Hadoop安装目录
执行命令：cd /usr/local/hadoop-2.7.7 与 ll

bin目录：命令脚本

etc/hadoop目录：存放hadoop的配置文件

lib目录：hadoop运行的依赖jar包

sbin目录：存放启动和关闭hadoop等命令

libexec目录：存放的也是hadoop命令，但一般不常用

最常用的就是bin和etc目录

2、查看Hadoop配置目录
勾出
了Hadoop比较重要的配置文件

3、查看sbin子目录
勾出了启动与停止dfs和yarn服务的脚本文件