Hadoop源代码
刘璟宇
这个作者很懒,什么都没留下…
展开
-
Hdfs-源码解析(3)
datanode和namenode之间的心跳机制 Hadoop中,通过datanode定期向namenode发送心跳信息,来确定datanode的有效性。对于超时未收到心跳信息的datanode,将被视为失效,将其从系统中移除。从代码中可以看出,超时的时间限制: ClassFSNameSystem{ …… long heartbeatInterval =conf.getLo原创 2013-07-24 09:46:54 · 368 阅读 · 0 评论 -
Hdfs-源码解析(2)
namenode启动 Namenode持久化了文件和块之间的对应关系,也就是在namenode数据目录下的current/fsimage目录,namenode启动的时候,会将这个文件加载到内存里。块和机器的对应关系,namenode并不持久化,也就是说,namenode在启动的时候,并不知道文件块都在哪个datanode里,所以,namenode在启动后,会处于safemode状态,等待data原创 2013-07-24 09:45:30 · 336 阅读 · 0 评论 -
Hdfs-源码解析(1)
NameNode中,有server和serviceRpcServer两个成员,按照源码中的注释理解,如果配置了rpcserver,则server是给client专用的,其他datanode、backupnode等,都使用serviceRpcServer通信。 /** RPC server */ private Server server; /** RPC server for H原创 2013-04-22 06:24:55 · 565 阅读 · 0 评论