今天遇到了一个奇葩的问题,之前为了方便mapreduce程序的编写,一句话搞定job的配置,写了一个小工具类。如今,它成了程序卡在67%不动的罪魁祸首。
原因是当时心大没有在意细节,工具类中reduce的相关设置放在了输出的设置之后(现在会想起刚学的时候有个老师提过说这里的顺序要注意下。。。),于是乎程序卡住不动,也不报错,除了死等就是ctrl+C了。没办法只能重新梳理代码,可惜有点信任工具类,查了很久才查出来。与大家共勉吧。
错误的顺序:
调整后的顺序:
MapReduce job运行到67%卡住不动(已解决)
最新推荐文章于 2024-07-03 08:37:28 发布