一个hadoop job 有很多失败的task
经查,该job依赖于很大的外部配置文件,大概有200MB左右的分词词典及其他配置文件。该job的启动方式为:
/home/work/software/hadoop/bin/hadoop jar /home/work/software/hadoop/contrib/streaming/hadoop-streaming.jar -D mapred.reduce.tasks=0 -D mapred.job.priority=VERY_HIGH -D mapred.job.name='user:description' -input /home/user/input -output /home/user/output -mapper 'sh run.sh' -file /home/user/run.sh -fi