hadoop集群目录和端口配置（详细）

参数

描述

默认

配置文件

例子值

dfs.name.dir

name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉

{hadoop.tmp.dir}

/dfs/name

hdfs-site.xm

/hadoop/hdfs/name

dfs.name.edits.dir

node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉

${dfs.name.dir}

hdfs-site.xm

${dfs.name.dir}

fs.checkpoint.dir

secondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/namesecondary

core-site.xml

/hadoop/hdfs/namesecondary

fs.checkpoint.edits.dir

secondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录

${fs.checkpoint.dir}

core-site.xml

${fs.checkpoint.dir}

hadoop.tmp.dir

临时目录,其他临时目录的父目录

/tmp/hadoop-${user.name}

core-site.xml

/hadoop/tmp/hadoop-${user.name}

dfs.data.dir

data node的数据目录,以,号隔开,hdfs会把数据存在这些目录下，一般这些目录是不同的块设备，不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dir

MapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下，一般这些目录是不同的块设备，不存在的目录会被忽略掉

${hadoop.tmp.dir}

/mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dir

MapReduce的控制文件

${hadoop.tmp.dir}

/mapred/system

mapred-site.xml

/hadoop/hdfs/data1/system

其他配置

参数

描述

默认

配置文件

例子值

dfs.support.append

支持文件append，主要是支持hbase

false

hdfs-site.xml

true

dfs.replication

文件复制的副本数，如果创建时不指定这个参数，就使用这个默认值作为复制的副本数

3

hdfs-site.xml

2

常用的端口配置

HDFS端口

参数

描述

默认

配置文件

例子值

fs.default.name

namenodeRPC交互端口

8020

core-site.xml

hdfs://master:8020/

dfs.http.address

NameNodeweb管理端口

50070

hdfs-site.xml

0.0.0.0:50070

dfs.datanode.address

datanode　控制端口

50010

hdfs-site.xml

0.0.0.0:50010

dfs.datanode.ipc.address

datanode的RPC服务器地址和端口

50020

hdfs-site.xml

0.0.0.0:50020

dfs.datanode.http.address

datanode的HTTP服务器和端口

50075

hdfs-site.xml

0.0.0.0:50075

MR端口

参数

描述

默认

配置文件

例子值

mapred.job.tracker

job tracker交互端口

8021

mapred-site.xml

hdfs://master:8021/

mapred.job.tracker.http.address

job tracker的web管理端口

50030

mapred-site.xml

0.0.0.0:50030

mapred.task.tracker.http.address

task tracker的HTTP端口

50060

mapred-site.xml

0.0.0.0:50060

其他端口

参数

描述

默认

配置文件

例子值

dfs.secondary.http.address

secondary NameNode web管理端口

50090

hdfs-site.xml

0.0.0.0:28680

1、dfs.hosts 记录即将作为datanode加入集群的机器列表
2、mapred.hosts 记录即将作为tasktracker加入集群的机器列表
3、dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表
4、master 记录运行辅助namenode的机器列表
5、slave 记录运行datanode和tasktracker的机器列表
6、hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop
7、core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等
8、hdfs-site.xml hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等
9、mapred-site.xml mapreduce守护进程的配置项，包括jobtracker和tasktracker
10、hadoop-metrics.properties 控制metrics在hadoop上如何发布的属性
11、log4j.properties 系统日志文件、namenode审计日志、tasktracker子进程的任务日志的属性