Map/Reduce程序设计

Map/Reduce程序设计

（1）执行JAR包

psftp将JAR包，数据上传至Hadoop主节点，用put命令即可上传

Putty>pscp E:/文件地址/....jar  root@192.x.x.x:/root/
#输入密码即可

（2）进入Linux主节点

执行hdfs dfs -put命令将这些文件上传到指定目录

（3）执行jar包出现，发现任务执行时卡死在如下图所示的这一步

我参考了相关内容，可以解决我出现的错误

（4）再次执行修改的jar

查看最终结果

（5）jar包相关代码编写

（6）问题总结;

(1)执行jar包出现，集群时间不同步,将两个都重启解决问题
(2)出现如图错误，是虚拟内存超了，我去对yarn-site.xml进行修改，修改检查虚拟内存的属性为false解决了问题