hadoop 中hdfs-site.xml RPC HTTP TCP/IP 服务器的用途

         hadoop 守护进程一般同时运行RPC 和HTTP两个服务器,RPC服务器支持守护进程间的通信,HTTP服务器则提供与用户交互的Web页面。需要分别为各个服务器配置网络地址和端口号。当网络地址被设为 0.0.0.0的时候,Hadoop将于本机上所有的地址绑定。用户也可以将服务器与某个指定的地址绑定。端口号为0 表示服务器会选择一个空闲的端口号:但这种做法与集群范围的防火墙策略不兼容,因为防火墙通常开放一定的端口不会放开全部的端口,防止对服务器造成冲击。


RPC 服务器的属性

fs.default.name  被设置为一个HDFS的URI时,该属性描述namenode的RPC服务器地址和端口。若未指定端口,那端口号默认是8020


dfs.datanode.ipc.address  datanode 的RPC 服务器的地址和端口

mapred.job.tracker 被设为主机名称和端口号时,该属性指定jobtracker的RPC服务器地址和端口。常用的端口号是8021

mapred.task.tracker.report.address tasktracker的RPC 服务器地址和端口号,tashtracker的子JVM利用它和tasktracker通信。默认是127.0.0.0:0表示可以使用任一空闲端口,因为服务器进对回送地址隐藏。如果本机器没有回送地址,则需变更默认设置。

HTTP服务器的属性

mapred.job.tracker.http.address 默认0.0.0.0:50030

mapred.task.tracker.http.address  默认0.0.0.0:50060

dfs.http.address  默认0.0.0.0:50070

dfs.datanode.http.address  默认0.0.0.0:50075

dfs.secondary.http.address  默认0.0.0.0:50090

除了 RPC服务器之外,datanode也运行TCP/IP服务器以支持块传输。服务器地址和端口属性有 

dfs.datanode.address 默认是 0.0.0.0:50010

当有多个网络接口时,还可以选择某一个网络接口作为各个datanode和tasktracker 的IP地址(针对RPC和HTTP服务器)。相关属性包括

dfs.datanode.dns.interface

mapred.tasktracker.dns.interface 

默认都是default 表示使用默认的网络接口,可以修改者两个属性项来变更网络接口的地址 例如 ech0;



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值