- 博客(4)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hadoop源码研读之路（八）----DataNode本地数据块管理
刚接触Hadoop的时候，老师问我咱们上传的数据存放到那里了，我说我不知道，当时很囧。呵呵。在hdfs-site.xml中dfs.data.dir/home/hadoop/data这行数据就代表了数据块存放地址，现在才明白过来。在Linux上有四个目录1.current存放的是当前有效的数据块，2.detach存的是快照3.tmp保存的hi一些操作需要的临时
2012-07-27 16:31:26
1270
原创 hadoop源码研读之路（七）----HDFS的数据管理
HDFS主要通过NameNode、DataNode和Client端来管理数据NameNode主要负责管理文件系统的命名空间、集群的配置、和存储块的复制。NameNode会将系统的元数据存储在内存中。元数据主要包括下面几个信息：1.namespace用来描述整个文件系统的体系结构（文件树）2.access control information 用来检测访问和控制权限3.ma
2012-07-27 11:18:44
1251
原创 hadoop源码研读之路（六）----RPC的Client端和Server端
既然是RPC，就一定有Client端和Server端，如果进行一次HDFS的读写，其中一个DataNode需要跟NameNode建立连接，也需要和其他的DataNode建立连接，那么每一个Client需要维护多个连接。同时为了减少不必要的连接，Client的做法是拿Connectionid来作为Connection的ID。RPC Client的结构Client.Connecti
2012-07-19 21:26:37
1708
原创 hadoop源码研读之路（五）----Java动态代理
熟悉设计模式的人对于代理模式可能都不陌生。代理对象和被代理对象一般实现相同的接口，调用者与代理对象进行交互。代理的存在对于调用者来说是透明的，调用者看到的只是接口。代理对象则可以封装一些内部的处理逻辑，如访问控制、远程通信、日志、缓存等。比如一个对象访问代理就可以在普通的访问机制之上添加缓存的支持。这种模式在RMI和EJB中都得到了广泛的使用。传统的代理模式的实现，需要在源代码中添加一些附加的类。
2012-07-16 16:31:27
1750
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人