hdfs常用的端口配置

常用的端口配置

1、 HDFS端口

 

参数	描述	默认	配置文件	例子值
fs.default.name namenode	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

2、 MR端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job-tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

3  其它端口

参数	描述	默认	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:50090

3、三个缺省配置参考文件说明

3.1  core-default.html

参数名	参数值	参数说明
hadoop.tmp.dir	/tmp/hadoop-${user.name}	临时目录设定
hadoop.native.lib	true	使用本地hadoop库标识。
io.file.buffer.size	4096	流文件的缓冲区为4K
fs.default.name	file:///	缺省的文件URI标识设定。

3.2  hdfs-default.html/mapred-default.html

参数名	参数值	参数说明
dfs.namenode.logging.level	info	输出日志类型
dfs.secondary.http.address	0.0.0.0:50090	备份名称节点的http协议访问地址与端口
dfs.datanode.handler.count	3	数据节点的服务连接处理线程数
dfs.name.dir	${hadoop.tmp.dir}/dfs/name	存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份
dfs.data.dir	${hadoop.tmp.dir}/dfs/data	数据节点的块本地存放目录
mapred.local.dir	${hadoop.tmp.dir}/mapred/local	MR的中介数据文件存放目录
mapred.system.dir	${hadoop.tmp.dir}/mapred/system	MR的控制文件存放目录
mapred.temp.dir	${hadoop.tmp.dir}/mapred/temp	MR临时共享文件存放区
mapred.map.tasks	2	每个作业缺省的map任务数为2
mapred.reduce.tasks	1	每个作业缺省的reduce任务数为1