Spark基础学习笔记07：搭建Spark伪分布式环境

目录

一、搭建伪分布式Hadoop

（一）登录ied虚拟机

（二）配置免密登录

1、在ied虚拟机上生成密钥对

​编辑

2、将生成的公钥发送到本机

 3、验证虚拟机是否能免密登录本机

（三）下载与Spark版本匹配的Hadoop安装包 

 （四）上传Hadoop安装包

（五）将Hadoop安装包解压到指定目录 

 （六）查看Hadoop目录

1、查看Hadoop安装目录

（七）配置Hadoop实现伪分布式

1、修改环境配置文件 - hadoop-env.sh

2、修改核心配置文件 - core-site.xml

3、修改分布式文件系统配置文件 - hdfs-site .xml

4、修改MapReduce配置文件 - mapred-site.xml

5、修改yarn配置文件 - yarn-site.xml

6、配置hadoop的环境变量

（八）格式化名称节点

（九）启动与关闭hadoop服务 

1、启动Hadoop服务

二、搭建伪分布式Spark 

（一）进入spark配置目录

 （二）修改环境配置文件 - spark-env.sh

（三）配置slaves文件 

 三、启动伪分布式Spark

（一）启动hadoop服务

（二）启动spark服务

---

一、搭建伪分布式Hadoop

（一）登录ied虚拟机

（二）配置免密登录

1、在ied虚拟机上生成密钥对

执行ssh-keygen命令后，一直敲回车，生成节点的公钥和私钥，生成的文件id_rsa会自动放在/root/.ssh目录下，然后我们可以把公钥发往远程机器或本

2、将生成的公钥发送到本机

执行命令：ssh-copy-id root@ied

 3、验证虚拟机是否能免密登录本机

执行命令：ssh ied，再执行命令：exit

（三）下载与Spark版本匹配的Hadoop安装包 

下载链接：百度网盘 请输入提取码 提取码：f1lw

 （四）上传Hadoop安装包

将Hadoop安装包上传到虚拟机ied的/opt目录

（五）将Hadoop安装包解压到指定目录 

执行命令：tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local

 （六）查看Hadoop目录

1、查看Hadoop安装目录

执行命令：cd /usr/local/hadoop-2.7.7 与 ll

（七）配置Hadoop实现伪分布式

1、修改环境配置文件 - hadoop-env.sh

进入hadoop配置目录，执行命令：vim hadoop-env.sh

 export JAVA_HOME=/usr/local/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export HADOOP_CONF_DIR=${HADOOP_HO