最近在用破机器跑mapreduce任务,部署的是社区版hadoop,参数都要手动调整。虽然hadoop已经火了很久了,但是网上关于参数的介绍基本都处于’语焉不详’的状态,大部分还都是无责任转载,哪个版本都有。
这个帖子记录一下最近调参数对mapreduce任务的影响,结合hadoop官方文档,尽量对涉及到的参数有比较正确详细的解释。
这篇文章随着研究的深入些,随时更新
Hadoop参数
hadoop-env.sh
HADOOP_PID_DIR
保存hadoop的pid的文件路径,默认设置为系统的临时目录,定期清空。不修改的话,用stop-hdfs.sh或者stop-yarn.sh的时候可能会出现找不到pid的情况。
core-site.xml
**fs.defaultFS
默认的文件系统,很常用的参数,不多说了
**
hdfs-site.xml
yarn-site.xml
mapreduce-site.xml
mapreduce.map.java.opts
这个参数很重要。如果遇到执行map任务的时候发生java heap space问题任务被杀掉,但是查看log发现申请的内存明明没有用满的情况,很可能是这个参数的原因。我就遇到了上面这个问题,无论修改其它哪个内存配置都不能解决,最后把这个参数设置为