- 博客(4)
- 资源 (6)
- 收藏
- 关注
原创 HDFS追本溯源:HDFS操作的逻辑流程与源码解析
本文主要介绍5个典型的HDFS流程,这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。Client和NameNode,主要是介绍了Client对NN的各种文件系统目录树元数据的操作。还通过源码分析了HDFS在读取文件时,Client,NN和DN发生的事件和这些事件的顺序。 即使不考虑出现错误的情况,写文件也是HDFS最复杂的流程。本文通过创建一个新文件并向文件写入数据,结束后关闭这个文件为例,分析文件写入时各个节点之间的配合。还讨论了DN的启动及其与NN之间的交互。包括DN从启动到
2014-04-13 19:37:43 16096 2
原创 HDFS追本溯源:体系架构详解
Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。HDFS在Hadoop中扮演了非常基础的作用,以文件系统的形式为上层应用提供海量数据的存储服务。 HDFS作为一个分布式文件系统,具有高容错的特点。它可以部署在廉价的通用硬件上,提供高吞吐率(Throughput)的数据访问,特别适合那些需要处理海量数据集的应用程序。它没有遵循POSIX的要求,不支持ls,cp这样标准的UNIX命令,也不支持fopen和fread这
2014-04-11 21:13:47 18418 3
原创 HDFS HA: 高可靠性分布式存储系统解决方案的历史演进
HDFS,为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构,早期的架构包括一个主节点NameNode和多个从节点DataNode。 HDFS HA的解决方案可谓百花齐放,Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS,因为简单易用,但是需要提供一个HA的共享存储设备。而
2014-04-10 11:50:32 22147 6
原创 有些事情, 做起来要比想象中的容易
文章https://groups.google.com/forum/#!topic/pongba/mkWbbv6UmFo 的作者分享了自己的经验。一个问题,如果不实际动手做,仅仅是从外面看,往往会被一些表面上的困难阻塞住,产生不可逾越的感觉,及至真的动手做了,才会发现未必然 。的确,小马过河的故事现在仍然发人深省。随着年龄越来越大,我们逐渐摆脱了年少轻狂,做事也越来越谨慎。但是,是不是思维中的那面墙已经阻碍了你的进一步发展呢?亦或是,你缺少了年少时的天马行空;亦或是,安逸的生活已经消磨了你的斗志?别
2014-04-08 18:36:21 14309
Linux Debugging: coredump 分析的材料
2014-01-27
Linux Debugging: coredump 分析入门的材料
2014-01-27
局域网活动主机的C++实现
2009-03-08
常见的端口扫描的C++实现
2009-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人