在Windows上的虚拟机安装Hadoop伪分布式系统(三)

接上一篇文章
在上一篇文章中遗漏了一个core-site的配置文件
在这里插入图片描述
这个是改默认的名字为自己需要的,其效果在如下:
在这里插入图片描述

好了接下来 说接着上一篇文章写:

开始 启动jobhistory
命令: sbin/mr-jobhistory-daemon.sh start historyserver
在这里插入图片描述
运行mapreduce
创建一个输出目录
命令:bin/hdfs dfs -mkdir -p /user/yayun/data/output/
在这里插入图片描述
开始运行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/yayun/data/wc.input /user/yayun/data/output/1

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

网页端查看

在这里插入图片描述

4.9.2 结果查看:
bin/hdfs dfs -text /user/yayun/data/output/1/par*
在这里插入图片描述

SSH无密码登录
在主节点生成密钥
确保在生成公钥和密钥之前ssh目录下无任何文件,如果有则清理。
在这里插入图片描述
生成密钥的命令:ssh-keygen -t rsa

在这里插入图片描述
将密钥分发到3台机器上,因为机器1上也有datanode

ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

在这里插入图片描述

测试
命令:ssh bigdata02
在这里插入图片描述

停掉使用的yarn 的命令:sbin/stop-yarn,sh
停掉使用的hdfs 的命令:sbin/stop-all.sh
开启使用的hdfs 的命令:sbin/start-all.sh

至此一个 Hadoop 伪分布式集群就正式创建。
至于其他生态圈的工具安装 后面会更新中,在这个过程中我遇到很多的问题,很感谢csdn上的大佬,让我有优质的资料可查,并且一步步解决问题。并且成功。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值