hadoop、spark的伪分布式环境搭建

hadoop伪分布式

（1）上传jdk、hadoop、spark安装包

（2）解压安装包到指定位置

tar zxf 安装包.gz -C 指定位置

（3）重命名

mv 文件 新文件名

（4）配置jdk、hadoop、spark环境变量

vim/vi /etc/profile

（5）加载配置文件

source /etc/profile

（6）测试

java -version

hadoop version

spark

注：测试spark,直接看里面的文件就可以了，说明下载成功了

（7）免密登录

ssh-keygen----->四次回车

（8）分发密钥

ssh-copy-id 主机名

（9）测试登录

ssh 主机名

退出 exit

（10）修改主映射

vim/vi /etc/hosts

（11）关闭防火墙

systemctl stop firewalld

（12）修改hadoop的配置文件

• 切换到hadoop中

• 修改hadoop-env.sh的配置文件

• 修改core-site.xml

• 修改hdfs-site.xml

• 修改wokers

• 修改mapred-site.xml

• 修改yarn-site.xml

（13）格式化

hdfs namenode -format

（14）启动

start-all.sh

（15）查看进程

jps

注：五个缺一不可

（16）修改权限

（17）修改主映射

1）在C盘找到这些文件

2）修改权限

添加权限

添加IP地址和主机名

关闭权限

后续一直确定

3）把ip地址改为 主机名：9870

（18）修改Spark的配置文件

• 切换到spark中

• 修改启动和停止全部进程的命令

• 修改spark-env.sh.template为spark-env.sh
• 修改workers.template为workers

• 修改workers的环境配置

• 修改spark-env.sh的环境配置

• 启动start-spark.sh

• 查看进程

• 打开spark 的WebUI界面 主机名:8080

看到最后，终于搭建好了spark的伪分布式部署，给自己鼓鼓掌吧，可真棒。欢迎各位老师提出我的错误，嘻嘻