分布式存储
gochenguowei
在工作之余,记录下自己学习的东西,并收藏一些好的文章。
展开
-
The Google File System中文版附英文资源链接(上)
转自:https://blog.csdn.net/needkane/article/details/22209545http://download.csdn.net/detail/u010026901/7103707 资源下载 云计算的Google FileSystem技术与研究needkane(xxxxxxxxxxxxxxxxxxxxxxxxxx校区,xxx 22xxxxx)...转载 2018-07-18 11:51:50 · 527 阅读 · 1 评论 -
The Google File System中文版附英文资源链接(下)
转自:https://blog.csdn.net/needkane/article/details/222107414. 主服务器的操作主服务器执行所有的名称空间操作。另外,它管理整个系统的所有块副本:它决定块的位置,创建新块和相应的副本,协调多变的系统活动保持块被完全复制,均衡所有块服务器之间的负载,回收没有使用的存储空间。现在我们讨论每一个主题。4.1 名称空间管理和锁主服务器...转载 2018-07-18 11:53:41 · 293 阅读 · 0 评论 -
TFS 源码分析 写文件操作 DataServer端
转自:http://blog.chinaunix.net/uid-20761674-id-75100.html本文主要介绍dataserver端在写文件过程中的任务 1. DataServer处理client发送过来的CreateFileMessage消息,调用create_file_number函数,主要功能是获取file_number返回 int DataSer...转载 2018-07-19 13:45:07 · 297 阅读 · 0 评论 -
TFS 源码分析 写文件操作 Client端
转自:http://blog.chinaunix.net/uid-20761674-id-75099.html和通常的Linux文件操作API一样,写文件时包括三个步骤:open->write->close TfsFile::tfs_open():1. 读模式,发送block_id给NS,从NS查询相关ds_list返回给client2. 写模式,发送block_i...转载 2018-07-19 13:46:44 · 493 阅读 · 0 评论 -
一次完整的TFS写文件流程 for TFS1.3
一次完整的TFS写文件流程 for TFS1.3我们都知道,TFS的写文件流程是由TFS Client来发起的,所以我们就从TFS Client出发。首先来讲在Tfs Client都发生了什么事情? 1. TFS Client使用int putFile(TfsFile &tfsfile, VSTRING ¶m, int unique)函数将一个本地文件写入TFS中。其中tf...转载 2018-07-19 13:47:34 · 794 阅读 · 0 评论 -
TFS 源码分析 写文件操作 NameServer端
转自:http://blog.chinaunix.net/uid-20761674-id-75097.html TFS写操作数据流TFS系统中,nameserver会保证一个文件有多个副本存储于不同的dataserver上以保证冗余。当由于dataserver服务器宕机或由于其他原因退出系统导致某些文件副本数量下降时,nameserver将会调度新的dataserver节点存储文件备份。同...转载 2018-07-19 13:48:58 · 454 阅读 · 0 评论 -
mapreduce 中文版
MapReduce:超大机群上的简单数据处理 摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示...转载 2018-07-13 15:22:58 · 280 阅读 · 0 评论 -
Google's BigTable 原理
Google's BigTable 原理 (翻译) 题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 欢迎订阅作者微博 ------ 编者官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一...转载 2018-07-13 15:24:06 · 724 阅读 · 0 评论