注意:我使用的是centos7+hadoop2.7.3的环境
今天将eclipse中写好的MapReduce打成jar包传到linux服务器上,跑了下hadoop集群。
首先先记录下如何将eclipse的工程打成jar包
1.选中你要打包的包右键选中export
2.输入jar选择如下 然后next
3.点击Browse选择一个你想保存jar包的位置 然后next
4.然后一直next到最后无法next时点击Browse 选中你想打包的main类,ok,finish。然后出现一个waring继续ok。完成后你刚刚保存的路径下就会出现一个咖啡图标的jar包了
5.我的就是这样,就成功啦
在hadoop集群上跑出现的问题
1.有时候会出现safe mode的问题
hadoop dfsadmin -safemode leave
可以用来退出安全模式
2.会出现
停在job处,无法执行下一步操作。
此时的解决方法如下(默认三个datanode):
a.将yarn-site.xml修改成如下
然后重启hadoop在尝试使用jar包,如果还未成功在执行b。
b.将datanode和namenode的主机名设置好,并修改datanode和namenode的/etc/hosts为你修改的主机名比如下图。此时在重启hadoop集群。运行MapReducejar包就可以啦。