在eclipse环境中配置hadoop开发环境遇到的问题

博主在尝试使用Hadoop的单词统计功能时遇到了问题,起初是因为mapred-site.xml配置文件中yarn拼写错误导致的。修复此问题后,又发现ResourceManager未启动,通过查阅资料了解到需要分别启动HDFS和YARN服务。最终成功启动ResourceManager,解决了所有问题。
摘要由CSDN通过智能技术生成

当时已经配置完了环境之后 想试试看hadoop自带的单词统计功能 本以为水到渠成 没想到最后一步直接出问题

在hadoop路径下进入../share/hadoop/mapreduce路径下执行该命令(包后面的命令是指要进行什么功能 要操作的文件,操作后结果的输出文件 成功的话会在myeclipse页面自动创建输出文件)后就报了这个错

抛到网上以看说是什么缺少hadoop-mapreduce-client-common-2.2.0.jar这个包,但我查了一下发现是自己有这个包

无从下手的时候看到这个包的名字mapreduce觉得很眼熟 突然想起来之前配置hadoop的时候好像见到过 会不会是配置文件出错了 最后一查 果然。。。 居然是因为mapred-site.xml这个配置文件里最后的那个yarn写成yarm了。。。。 真的是。。。一失足成千古恨啊。。

但解决完之后又给我报了个错

显示一直在连接resourcemanager 当时启动hadoop之后一直没有仔细看 然后jps一看  resourcemanager 果然没有 后来看书才知道原来这个节点要单独启动。也就是说start-dfs.sh(这条民命令其实就是启动hdfs服务也就是namenode,datanode,journalnoded以及fszkfailovercontroller这些进程的)和start-yarn.sh(这条命令才是启动resourcemanager与nodemanager这两个进程) 都需要敲一遍(印象里好像只有第一条命令来着 - -... 属实学艺不精了)最后启动之后就可以啦

中间过程可能会有些慢所以要等个10s左右 这里才会传回来

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值