hadoop常用配置项

 ads：

关注以下公众号查看更多文章

记一下hadoop安装常用的配置项，防止安装软件的时候遗漏掉什么

core-size.xml

fs.defaultFS 默认文件系统路径

hadoop.tmp.dir 临时文件目录

fs.trash.interval 回收站保留文件的时间

hdfs-site.xml

dfs.namenode.http-address namenode节点路径

dfs.datanode.secondary.http-address secondnamenode节点路径

dfs.replication 文件副本数

mapred-site.xml

mapreduce.framework.name mapreduce框架

mapreduce.jobhistory.address jobhistory内部路径

mapreduce.jobhistory.webapp.address jobhistory网页路径

mapreduce.map.output.compress mapreduce压缩

mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.SnappyCodec 使用snappy压缩

yarn-site.xml

yarn.resourcemanager.hostname resourcemanager路径

yarn.nodemanager.aux-services mapreduce_shuffle

yarn.log-aggregation-enable yarn日志聚合

yarn.log-aggregation.retain-seconds 日志聚合保留时间

yarn.nodemanager.resource.memory-mb 单节点使用的内存

yarn.nodemanager.resource.cpu-vcores cpu内核数

具体详细配置参照以下的类似文件点击打开链接