2015年08月_Android路上的人

原创 YARN源码分析(一)-----ApplicationMaster

前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设

2015-08-31 23:10:49 14009 2

原创 HDFS源码分析(六)-----租约

前言在文章开始，先讲个大家都经历过的事--去图书馆借书，当然，喜欢阅读的朋友也许和我一样比较喜欢借书阅读，借书阅读方便是方便，但是唯一不好的地方在于他又期限，就是deadlline，之前在我们学校有规定，如果超期为归还的书不允许借阅另外的书籍，所以要想使自己能接到新的书，就必须先归怀超期的书籍。当然这个经历本身再寻常不过了，但是我想表达的是在HDFS分布式文件系统中的租约机制与此过程有着极强的吻合

2015-08-26 23:11:00 5104

原创 HDFS源码分析(五)-----节点注册与心跳机制

前言在Hadoop的HDFS启动的时候,不知道大家有没有注意到一个细节,一般都是先启动NameNode,然后再启动DataNode,细想一下,原因就很简单了,因为NameNode要维护元数据信息,而这些信息都是要等待后续启动的DataNode的情况汇报才能逐步构建的.然后之后通过保持心跳的形式进行block块映射关系的维护与更新.而今天的文章就以此方面,对这块流程做全面的分析.相关涉及类依旧需要介

2015-08-24 23:18:29 5356

原创 HDFS源码分析(四)-----节点Decommission机制

前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission

2015-08-20 08:33:13 8037

原创 HDFS源码分析(三)-----数据块关系基本结构

前言正如我在前面的文章中曾经写过，在HDFS中存在着两大关系模块，一个是文件与block数据块的关系，简称为第一关系，但是相比于第一个关系清晰的结构关系，HDFS的第二关系就没有这么简单了，第二关系自然是与数据节点相关，就是数据块与数据节点的映射关系，里面的有些过程的确是错综复杂的，这个也很好理解嘛，本身block块就很多，而且还有副本设置，然后一旦集群规模扩大，数据节点的数量也将会变大，如何处理

2015-08-18 23:38:15 5889 1

原创 HDFS源码分析(二)-----元数据备份机制

前言在Hadoop中，所有的元数据的保存都是在namenode节点之中，每次重新启动整个集群，Hadoop都需要从这些持久化了的文件中恢复数据到内存中，然后通过镜像和编辑日志文件进行定期的扫描与合并，ok，这些稍微了解Hadoop的人应该都知道，这不就是SecondNameNode干的事情嘛，但是很多人只是了解此机制的表象，内部的一些实现机理估计不是每个人都又去深究过，你能想象在写入编辑日志的过程

2015-08-15 17:47:02 4855 3

原创 HDFS源码分析(一)-----INode文件节点

前言在linux文件系统中，i-node节点一直是一个非常重要的设计，同样在HDFS中，也存在这样的一个类似的角色，不过他是一个全新的类，INode.class，后面的目录类等等都是他的子类。最近学习了部分HDFS的源码结构，就好好理一理这方面的知识，帮助大家更好的从深层次了解Hadoop分布式系统文件。HDFS文件相关的类设计在HDFS中与文件相关的类主要有这么几个1.INode--这个就是最底

2015-08-11 23:18:49 7601 1

原创 Hadoop分布式文件系统--HDFS结构分析

前言在Hadoop内部，具体实现了许多类的文件系统，当然最最被我们用到的就是他的分布式文件系统HDFS了。但是本篇文章不会讲HDFS的主从架构等东西，因为这些东西网上和资料书中都讲得很多了。所以，我决定以我个人的学习所得，来讲讲HDFS内部的一些有意思的东西，也作为一个起始点，为后续继续深入其中模块的学习做基础。HDFS两大主流关系模块与NameNode相关，文件系统元数据操作相关。包括文件目录树

2015-08-09 16:57:52 4243 1

原创维特比算法在隐马尔可夫模型中的应用

前言文章标题的两个概念也许对于许多同学们来说都相对比较陌生，都比较偏向于于理论方面的知识，但是这个算法非常的强大，在很多方面都会存在他的影子。2个概念，1个维特比算法，1个隐马尔可夫模型。你很难想象，输入法的设计也会用到其中的一些知识。HMM-隐马尔可夫模型隐马尔可夫模型如果真的要展开来讲，那短短的一篇文章当然无法阐述的清，所以我会以最简单的方式解释。隐马尔可夫模型简称HMM，根据百度百科中的描述

2015-08-03 23:09:39 3915

走在前往架构师的路上