今天在迁移到新服务器时,调度平台又出现问题,首先是脚本中依赖的包没有提前问大家,所以很多任务失败了,问题归结为:

  1. 提前问清楚所有的依赖包

  2. 最大的问题是在切换用户启动之后,出现问题。

    原先使用的是hadoop用户,然后再使用root用户启动,当再次使用hadoop的时候,出现任务不向下进行,卡在一半的问题,原因是使用root启动之后,很多文件的所属权归root,那么hadoop就不再有权限进行操作了,在调度平台中,就是因为/tmp下的文件所属root。查看源码本可以解决的,但是没有那么深入,以至于问题解决了一天才找到原因,另外特别感谢梅老板的帮助和指导,让我感觉到自己linux深深的不足,也学习了梅老板遇到问题,执着到底的精神。