最近项目用到spark on yarn,性能优化方面,很多参数无从下手,因此从hadoop官方文档来入手,看看配置参数有哪些,打开hadoop官网,现在已经更新了,但要查看之前版本的文档,在首页的左下角选择 release archive归档文件:
然后在第四页找到我需要的版本hadoop2.7.1,这是继hadoop2.6稳定版本后的下一个稳定版本,
然后进入文献资料就能看到2.7.1相关的内容了,我主要关注的是hdfs-site.xml、core-site.xml那四个配置文件。
在左下角就能找到,点击就能查看