大数据
文章平均质量分 88
wl199083
这个作者很懒,什么都没留下…
展开
-
基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口
对于hadoop HDFS 中的所有命令进行解析(其中操作流程是自己的想法有不同意见欢迎大家指正) 接口名称 功能 操作流程 get 将文件复制到本地文件系统 。如果指定了多个源文件,本地目的端必须是一个目录。 (1)按照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名(或大文件元数据原创 2014-07-10 20:26:29 · 1707 阅读 · 0 评论 -
当前HDFS架构详尽分析
第一部分:当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构: ${ dfs.name.dir}/current /VERSION转载 2014-07-11 17:43:32 · 631 阅读 · 0 评论 -
Tair源码分析_对照表创建流程
Tair 中存放在主节点中的表的创建共分为五步: 1)根据当前m_hash_table表,统计出每一个alive节点上存储的bucket数量(包括master bucket和slave bucket)。假设有节点A,B,C和D,则形成数据如下的map,同时在扫描主节点的过程当中判断主节点是否down,如果不可用,则需要执行第五步快速建表: 注意: 在检查可用节点列表的原创 2014-10-13 17:47:48 · 2418 阅读 · 0 评论