- 博客(4)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 HDFS追本溯源：HDFS操作的逻辑流程与源码解析
本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。Client和NameNode，主要是介绍了Client对NN的各种文件系统目录树元数据的操作。还通过源码分析了HDFS在读取文件时，Client，NN和DN发生的事件和这些事件的顺序。 即使不考虑出现错误的情况，写文件也是HDFS最复杂的流程。本文通过创建一个新文件并向文件写入数据，结束后关闭这个文件为例，分析文件写入时各个节点之间的配合。还讨论了DN的启动及其与NN之间的交互。包括DN从启动到
2014-04-13 19:37:43
16079
2
原创 HDFS追本溯源：体系架构详解
Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。HDFS在Hadoop中扮演了非常基础的作用，以文件系统的形式为上层应用提供海量数据的存储服务。 HDFS作为一个分布式文件系统，具有高容错的特点。它可以部署在廉价的通用硬件上，提供高吞吐率(Throughput)的数据访问，特别适合那些需要处理海量数据集的应用程序。它没有遵循POSIX的要求，不支持ls，cp这样标准的UNIX命令，也不支持fopen和fread这
2014-04-11 21:13:47
18407
3
原创 HDFS HA: 高可靠性分布式存储系统解决方案的历史演进
HDFS，为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构，早期的架构包括一个主节点NameNode和多个从节点DataNode。 HDFS HA的解决方案可谓百花齐放，Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS，因为简单易用，但是需要提供一个HA的共享存储设备。而
2014-04-10 11:50:32
22117
6
原创 有些事情, 做起来要比想象中的容易
文章https://groups.google.com/forum/#!topic/pongba/mkWbbv6UmFo 的作者分享了自己的经验。一个问题,如果不实际动手做,仅仅是从外面看,往往会被一些表面上的困难阻塞住,产生不可逾越的感觉,及至真的动手做了,才会发现未必然 。的确，小马过河的故事现在仍然发人深省。随着年龄越来越大，我们逐渐摆脱了年少轻狂，做事也越来越谨慎。但是，是不是思维中的那面墙已经阻碍了你的进一步发展呢？亦或是，你缺少了年少时的天马行空；亦或是，安逸的生活已经消磨了你的斗志？别
2014-04-08 18:36:21
14287
Linux Debugging: coredump 分析的材料
2014-01-27
Linux Debugging: coredump 分析入门的材料
2014-01-27
局域网活动主机的C++实现
2009-03-08
常见的端口扫描的C++实现
2009-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人