Hadoop
陈folin
这个作者很懒,什么都没留下…
展开
-
Hadoop RPC框架解读
1. RPC概述1.1 RPC简介RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更原创 2014-01-14 16:52:00 · 3670 阅读 · 0 评论 -
HDFS(2.2.0)选择DataNode机制
HDFS选择数据节点的方式越来越复杂,也越来越考虑到吞吐量,但是同样存在着一些问题。分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer(客户端所在节点)、excludedNodes(客户端排除的节点)、chosenNodes(已经选择的节点)方法是BlockPlacementPolicyDefault类的DatanodeDescriptor[] c原创 2014-01-26 16:31:08 · 2086 阅读 · 1 评论