零、本讲学习目标
学会搭建Spark伪分布式环境
学会启动Spark Shell进行交互式操作
学会使用Spark WebUI查看运行状态
Spark单机伪分布式是在一台机器上既有Master,又有Worker进程。搭建Spark单机伪分布式环境可在Hadoop伪分布式的基础上进行搭建。
一、搭建伪分布式Hadoop
(一)登录ied虚拟机
利用win7虚拟机上的FinalShell登录ied虚拟机
本机远程桌面连接win7虚拟机【对外IP地址:192.168.177.116,私有IP地址:192.168.1.100】
虚拟机ied上已经安装了Spark单机版环境,单机版Spark不需要Hadoop,但是Spark伪分布式环境就需要建立在Hadoop伪分布式环境基础之上。
(二)配置免密登录
1、在ied虚拟机上生成密钥对
执行ssh-keygen命令后,一直敲回车,生成节点的公钥和私钥,生成的文件id_rsa会自动放在/root/.ssh目录下,然后我们可以把公钥发往远程机器或本机。
2、将生成的公钥发送到本机
执行命令:ssh-copy-id root@ied
3、验证虚拟机是否能免密登录本机
执行命令:ssh ied,再执行命令:exit
(三)下载与Spark版本匹配的Hadoop安装包
下载链接:https://pan.baidu.com/s/1iFS66cwNcOqrlXBas-3Fxw 提取码:f1lw
(四)上传Hadoop安装包
将Hadoop安装包上传到虚拟机ied的/opt目录
(五)将Hadoop安装包解压到指定目录
执行命令:tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local
(六)查看Hadoop目录
1、查看Hadoop安装目录
执行命令:cd /usr/local/hadoop-2.7.7 与 ll
bin目录:命令脚本
etc/hadoop目录:存放hadoop的配置文件
lib目录:hadoop运行的依赖jar包
sbin目录:存放启动和关闭hadoop等命令
libexec目录:存放的也是hadoop命令,但一般不常用
最常用的就是bin和etc目录
2、查看Hadoop配置目录
勾出
了Hadoop比较重要的配置文件
3、查看sbin子目录
勾出了启动与停止dfs和yarn服务的脚本文件
<