hadoop
文章平均质量分 59
iteye_2997
这个作者很懒,什么都没留下…
展开
-
hadoop corrupt处理流程
Datanode block corrupt流程说明 1、 Datanode上有一个线程DataBlockScanner对Datanode上面的block进行数据校验,其中该类中最重要的方法是verifyBlock(Block block),在verifyBlock(Block block)方法中利用了BlockSender,其方法是将block读入到一个空设备(IOUtils...原创 2011-07-27 15:32:00 · 334 阅读 · 0 评论 -
DatanodeDescripto详解
DatanodeDescriptor内部结构说明 说明 DatanodeDescriptor保存了特定Datanode上面的一些统计信息,如硬盘容量、使用量,最后更新时间等,DatanodeDescriptor结构属于Namenode的内部结构,并不通过网络向Datanode和Client传输。 内部重要数据结构 DatanodeDescriptor还保存了一个...原创 2011-04-14 09:36:29 · 132 阅读 · 0 评论 -
Namenode内部数据结构整理
由于要改进NameNode结构,需要对NameNode内部数据结构进行整理,方便下一步的工作。 NameNode接收Client、DataNode、SecondNameNode的RPC通信后,解析出需要执行的函数,大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构,总结起来有如下一些: 1. Block...原创 2011-04-14 10:47:00 · 288 阅读 · 0 评论