Map/Reduce程序设计
(1)执行JAR包
psftp将JAR包,数据上传至Hadoop主节点,用put命令即可上传
Putty>pscp E:/文件地址/....jar root@192.x.x.x:/root/
#输入密码即可
(2)进入Linux主节点
执行hdfs dfs -put命令将这些文件上传到指定目录
(3)执行jar包出现,发现任务执行时卡死在如下图所示的这一步
我参考了相关内容,可以解决我出现的错误
(4)再次执行修改的jar
查看最终结果
(5)jar包相关代码编写
(6)问题总结;
(1)执行jar包出现,集群时间不同步,将两个都重启解决问题
(2)出现如图错误,是虚拟内存超了,我去对yarn-site.xml进行修改,修改检查虚拟内存的属性为false解决了问题