Spark学习之路 （五）Spark伪分布式安装

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

目录

一、JDK的安装
1.1　上传安装包并解压
1.2　配置环境变量
1.3　验证Java版本
二、配置配置ssh localhost 
2.1　检测
2.2　生成私钥和公钥秘钥对
2.3　将公钥添加到authorized_keys
2.4　赋予authorized_keys文件600的权限
2.5　修改Linux映射文件(root用户)
2.6　验证
三、安装Hadoop-2.7.5
3.1　上传解压缩
3.2　创建安装包对应的软连接
3.3　修改配置文件
3.4　配置环境变量
3.5　查看hadoop版本
3.6　创建文件夹
3.7　Hadoop的初始化
3.8　启动HDFS和YARN
3.9　检查WebUI
四、Scala的安装（可选）
4.1　下载
4.2　上传解压缩
4.3　配置环境变量
4.4　验证是否安装成功
五、Spark的安装
5.1　下载安装包
5.2　上传解压缩
5.3　为解压包创建一个软连接
5.4　进入spark/conf修改配置文件
5.5　配置环境变量
5.6　启动Spark
5.7　查看进程
5.8　查看web界面