记一次mapreduce排错经历

背景

最近要基于hdp做一次性能测试，早上提交任务时，发下，一直挂掉

具体报错如下：

java.lang.NumberFormatException: For input string: "32M"

# 查看所有的任务
yarn application -list -appStates ALL
# 找到最近失败的url，后台查看，发现失败的job全部集中在node8上，怀疑是2进制或者环境变量的问题

1. 命令行调用接口上传测试

hadoop fs -put testfile s3a://hdp26/
报错
-put For input string: "32M"

2. 怀疑2进制被破坏

3. 修复

# 从功能相似的节点copy 全部文件
cd /usr/hdp/2.6.4.0-91/
scp -r * node8:/usr/hdp/2.6.4.0-91/

4. 恢复