wordcount job测试超时问题解决
问题
在完成MapReduce模块搭建后,首先用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。无奈的是,跑了很多次都报出同样的错误,一查原来是三台机子时间不一样所导致的。问题报错为SYSTEM TIMES ON MACHINES MAY BE OUT OF sync…
下图是出错原因,FAILED主要原因是TIME_OUT,也就是时间不同步导致的。
之后就需要对此进行解决了,根据报错原因,我查找了很多篇CSDN文章,参照他人的解决办法
解决过程
也尝试了不少方法,终于解决了。。。如果和我有同样问题的小伙伴,不妨试试
- 检查是否安装了ntp服务是否已经开启
sudo rpm -qa | grep ntp
fontpackages-filesystem-1.41-1.1.el6.noarch
ntp-4.2.6p5-1.el6.centos.x86_64
ntpdate-4.2.6p5-1.el6.centos.x86_64
这说明ntp服务已开启
不需要yum -y install ntp ntpdate
- 设置系统时间和网络时间一致
ntpdate cn.pool.ntp.org
对每个主机进行一次这样的命令
3.配置完毕后,再start-dfs.sh start-yarn.sh 进行job测试就可以SUCCESSFULLY!圆满!
终于解决了!!一个错误需要花费N倍的时间去解决-----