2017年11月_Snail_Walker

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创分布式文件系统概述

分布式文件系统简介普通的存储方法分布式存储方法NFSGFS分布式文件系统简介文件系统是在物理存储和文件操作之间的抽象层，使得文件管理，存储管理更加方便。分布式文件系统，使得文件系统容易扩容，方便配置，方便共享和管理。当然具体解释就是文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，也就是集群文件系统，可以支持大数量的节点以及PB级的数据存储。常见的专有的分布式

2017-11-27 13:48:17 5289

Q AQ & A1、如果一些商业用户有很多的小文件在分布式文件系统上，这些文件只被用户自己使用，从用户的桌面登录，需要对文件进行频繁地读和写。哪一种文件系统会需要更多的沟通？NFSv3 或者是 AFS2？An: AFS2。理由为如果在客户端有缓存并且有效的话，那么就不会和文件系统进行沟通。NFS3就会调用RPC给服务器确认cache是否有改变。并且在写文件的时候，NFS3会每次写回都调用一次RPC

2017-11-27 12:04:36 262

原创 Declustered RAID

RAID 相关的可靠性计算BigTable含义MapReduceRAID 相关的可靠性计算传统的RAID进行修复的时候，需要大量的IO带宽，内存带宽以及CPU时间。它的表现如下图所示：这个时候，还有没有使用的带宽，这是一种浪费。将磁盘进行划分，可以变成：当然，可以再进一步对空闲的磁盘进行划分。这种操作可以将负载分配到不同的读写器上，这种decluster的操作在GFS中也有。BigT

2017-11-27 08:55:10 974

原创 GFS Google Storage System/HDFS

Google File System GFSCommodity Clusters 社区集群模仿者Hadoop FS HDFSBigTable针对大数据的统计分析工具模仿者noSQLMapReduce并行处理数据模型模仿者HadoopGoogle File System GFS参考文档： Ghemawat03: S. Ghemawat, H. Gobioff, S-T. Leung, S

2017-11-26 23:00:43 428

原创数据保护 data protection

数据保护的意义备份 backup磁带备份 tape backup目前的备份系统备份系统的工作逻辑地址空间 vs 物理地址空间备份快照 snapshot增量 incremental vs 全 full 备份数据复制 data replication数据保护的意义备份 backup磁带备份 tape backup目前的备份系统备份系统的工作逻辑地址空间 vs 物理地址空间备份快照 snaps

2017-11-26 00:50:07 1793

原创 Parallel File System 并行文件系统

storage stackHPC I O StackCloud Storage StackStorage System Models本地文件系统并行分布式文件系统NASSAN对象存储并行文件系统GPFSPVFSPanFSLustre文件系统MPI-IOstorage stack关于存储栈的基础：存储栈包含了完整的服务器、网络部分和服务器虚拟化部分。 http://searchst

2017-11-25 13:20:50 5270

原创 Distributed File System 分布式文件系统

Storage System快要期末考了，要准备复习一下，这门课Prof Greig讲得很迷，需要好好整理一下。分布式文件系统大概：基本的客户端/服务器模型客户端服务器模型的运用分配服务器设计中需要考虑的问题基本的客户端/服务器模型文件系统的顶层功能包括：《name，offset》与《partition，sector》之间的转换（地址空间管理，FTL这一类的东西）；文件缓存和永久保存；对于某

2017-11-22 07:42:57 1234

原创 669. Trim a Binary Search Tree/110. Balanced Binary Tree/443. String Compression/266. Palindrome Per

669. Trim a Binary Search TreeGiven a binary search tree and the lowest and highest boundaries as L and R, trim the tree so that all its elements lies in [L, R] (R >= L). You might need to change the r

2017-11-21 21:57:05 303

原创这是一个人让你认识自己的地方

这个学期，我在CMU选了15-746： Storage System，11-642 Search Engine、10-601 Machine Learning三门课程。和国内水课不同，这些课程讲得很深入，同时要求实现更深层次的东西。讲课和作业更像两条线，讲课更多是广度，作业是深度的挖掘，要到代码层次，而且这里做作业可不像国内做作业可以到处“参考”。每一次做作业都感觉像是涅槃重生，整个人被反复折磨，在

2017-11-21 20:48:10 608