hongqiang001的博客

一、hdfs读文件流程    1）、hdfs client调用FileSystem.open(),DistributedFileSystem通过RPC与Namenode通信，NN返回该文件的部分或全部block列表，选取离客户端最优位置DataNode；2）、FSDataInputStream，读取block信息，当读到block结尾的时候，FSDataInputStream关闭与NN的连接，继续...

一、hadoop四大模块1、common    common 及核心公共模块，默认配置（core-site.xml）,主要包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提...

前言 checkpoint，就是将某一个时间点的内存镜像，完整地存放到磁盘的过程，比如，我们在StandBy NameNode上可以看到这样的image文件： fsimage_0000000000992806947 fsimage_0000000000992806947.md5 1 2 fsimage_0000000000992806947说明这个文件存放了txId为992806947和...