博客专栏  >  架构   >  Hadoop Common源码学习笔记

Hadoop Common源码学习笔记

从代码级别分析Hadoop Common各个模块的原理实现

关注
11 已关注
8篇博文
  • 从Hadoop 安全机制原理到当今主流安全机制

    在Hadoop Common模块中除了之前我所分析过的4大主模块,还有一个也同样是非常重要的内容,就是Security---安全模块。不过,我只是简单的分析他的实现机制,并不会涉及代码的分析。同时,我...

    2014-12-13 09:10
    3763
  • Hadoop FileSystem文件系统的概要学习

    在学习Hadoop FileSystem模块之前,最好的建议就是先去学习一下Linux本地文件系统的设计实现,这将会大大的帮助你了解Hadoop FileSystem,至少很多思想都是共通的。其实老实...

    2014-12-11 10:01
    2872
  • Hadoop RPC通信Server端的流程分析

    前2天刚刚小小的分析下Client端的流程,走的还是比较通顺的,但是RPC的服务端就显然没有那么简单了,毕竟C-S这种模式的,压力和重点都是放在Server端的,所以我也只能做个大概的分析,因为里面细...

    2014-12-07 09:27
    1926
  • Hadoop RPC通信Client客户端的流程分析

    Hadoop的RPC的通信与其他系统的RPC通信不太一样,作者针对Hadoop的使用特点,专门的设计了一套RPC框架,这套框架个人感觉还是有点小复杂的。所以我打算分成Client客户端和Server服...

    2014-12-05 18:47
    2665
  • Hadoop Compression解压缩架构的学习

    Hadoop的Compressor解压缩模块是Hadoop Common IO模块中又一大的模块。虽然说在现实生活中,我们使用压缩工具等的使用场景并不是那么多。或许在我们潜在的意识里,压缩的概念就停留...

    2014-12-01 14:25
    2015
  • 从Hadoop Writable序列化框架到java的序列化原理

    继上一个模块之后,此次分析的内容是来到了Hadoop IO相关的模块了,IO系统的模块可谓是一个比较大的模块,在Hadoop Common中的io,主要包括2个大的子模块构成,1个是以Writable...

    2014-11-30 20:01
    1802
  • Hadoop Configuration配置类的分析

    学习Hadoop Common模块,当然应该是从最简单,最基础的模块学习最好,所以我挑选了其中的conf配置模块进行学习。整体的类结构非常简单。 只要继承了Configurable接口,一般...

    2014-11-29 20:51
    2274
  • Hadoop Common 结构学习

    从今天开始,开始研究学习Hadoop Common相关的源码结构。Hadoop Common在Hadoop1.0中是在core包下面的。此包下面的内容供HDFS和MapReduce公用,所以作用还是非...

    2014-11-29 08:31
    2681
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部