BigTable
文章平均质量分 87
iteye_19607
这个作者很懒,什么都没留下…
展开
-
BigTable论文学习总结
一.bigtable是一个分布式存储系统,可以用来管理PB级别的结构化数据,且可以分布在大量的商业服务器上。二.bigtable的目标是:广泛适用性,扩展性,高性能,高可用性。bigtable其类似一个数据库系统,和普通RDBMS数据库具有很多相同的策略,但是bigtable并不支持关联数据模型(bigtable是数据关系松散的),相反,它向客户端提供简单的/动态控制/模式自由的数据模型。...原创 2013-04-07 09:20:13 · 2082 阅读 · 0 评论 -
GFS学习(一)
Google文件系统GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。一、设计概览 (1)设计想定: GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了 它与早期的文件系统明显不同的设想。这...原创 2013-04-07 09:20:32 · 508 阅读 · 0 评论 -
GFS学习(二)
二、系统交互 (1)租约(lease)和修改顺序: (2)数据流 我们的目标是充分利用每个机器的网络带宽,避免网络瓶颈和延迟. 为了有效的利用网络,我们将数据流和控制流分离。数据是以流水线的方式在选定的chunkerserver链上线性的传递的。每 个机器的整个对外带宽都被用作传递数据。为避免瓶颈,每个机器在收到数据后,将它收到数据尽快传递给离它最近的机器。 (3)...原创 2013-04-08 07:14:22 · 246 阅读 · 0 评论 -
GFS学习(三)
四、容错和诊断 4.1 高可靠性 4.1.1 快速恢复 不管如何终止服务,MASTER和数据块服务器都会在几秒钟内恢复状态和运行。实际上,我们不对正常终止和不正常终止进行区分, 服务器进程都会被切断而终止。客户机和其他的服务器会经历一个小小的中断,然后它们的特定请求超时,重新连接重启的服务器,重新请求。 4.1.2 数据块备份 如上文所讨论的,每个数据块都会被备份到...原创 2013-04-08 07:14:56 · 533 阅读 · 0 评论 -
GFS论文整理(一)
摘要: 我们设计并实现了GFS:一个高扩展性,适用于数据密集型应用的分布式文件系统。运行在廉价的商用服务器上,它提供了容错能力,它能够在大量客户端请求时提供较好的整体性能。 当享用众多具有同样上述目的的分布式文件系统时,我们的设计驱动力来对应用的工作量和技术环境,无论是当前还是预期,也折射出与早期的文件系统的背离。这些引导我们重新检测传统选择或者探索一个不同的设计方式。 ...原创 2013-04-08 09:17:44 · 621 阅读 · 0 评论 -
GFS论文整理(二)
Operation Log: operation log记录了比较重要的metadata数据修改,它是GFS的核心。它不仅记录metadata的修改记录,也充当了定义并发操作逻辑时间线的角色。Files和chunks,以及它们的versions,都是唯一的,并且是通过它们创建时的logic times来确定的。 因为operation log很重要,我们必须可靠的存储它,在m...原创 2013-04-08 09:18:08 · 429 阅读 · 0 评论 -
GFS论文整理(三)
Snapshot: snapshot(快照)操作瞬间为文件或者目录树(即source)做一个copy,最小化对正在进行的变更操作的打断。我们的用户使用快照功能来快速创建数据集庞大的分支副本(经常是副本的复制,递归地),或者在尝试应用数据修改之前对当前状态设置checkpoint,这样简单地提交或者回滚。 像AFS,我们使用标准的copy-on-write技术来实现sn...原创 2013-04-08 09:18:32 · 217 阅读 · 0 评论 -
GFS论文整理(四)
Data Integrity(数据完整性): 每个chunkserver使用checksumming(校验和)来检测存储数据的损坏.GFS分布式环境往往有数百台机器数千个硬盘,磁盘故障是一个很普通的事情,这往往会导致在读取或者写入时数据的存坏或者丢失.我们能够从其他chunk replicas中恢复这些损坏的数据.但是如果通过跨chunkserver的方式去检测这些损坏的数据,是不现实...原创 2013-04-09 09:00:47 · 247 阅读 · 0 评论 -
LevelDB学习与实践
LevelDB学习与实践 LevelDB是一个基于本地文件的存储引擎,非分布式存储引擎,原理基于BigTable(LSM文件树),无索引机制,存储条目为Key-value。适用于保存数据缓存、日志存储、高速缓存等应用,主要是避免RPC请求带来的延迟问题。在存取模型上,顺序读取性能极高,但是对于随机读取的情况延迟较大(但性能也不是特别低),比较适合顺序写入(key),随机的key写...原创 2015-03-24 16:27:07 · 1092 阅读 · 0 评论