存储技术
zedware
https://zedware.github.io
展开
-
Avoiding the Disk Bottleneck in the Data Domain Deduplication File System
Avoiding the Disk Bottleneck in the Data Domain Deduplication File System转载 2011-01-08 19:18:00 · 23555 阅读 · 0 评论 -
Granola: Low-Overhead Distributed Transaction Coordination
论文里的结论总是很美好。AbstractGranola: Low-Overhead Distributed Transaction CoordinationThis paper presents Granola, a transaction coordinationinfrastructure for building reliable distribu转载 2014-03-03 22:10:30 · 23512 阅读 · 0 评论 -
Google的备份
How Google Backs Up The Internet Along With Exabytes Of Other DataMONDAY, FEBRUARY 3, 2014 AT 8:56AMRaymond Blum leads a team of Site Reliability Engineers charged with keeping Google's转载 2014-03-11 22:18:03 · 24108 阅读 · 0 评论 -
[朝花夕拾] VMware Virtual Volume - vVol
Virtual volume在两年前还是很火热的概念,例如:http://blogs.vmware.com/vsphere/2012/10/virtual-volumes-vvols-tech-preview-with-video.html,可是2013年的VMware大会上就没有那么多消息了,例如:http://www.networkcomputing.com/storage-networkin原创 2014-03-28 23:19:02 · 25038 阅读 · 0 评论 -
打洞(Punch a hole):回收存储空间(File、Block以及其他)
打洞(Hole-punching)这个看起来有点土,容易让人想到“龙生龙凤生凤,老鼠的儿子会打洞”。在虚拟机出现之前,这个问题可能还不太被大家所了解。VM通常会有个很大的文件作为Guest OS的存储,可是你在Guest OS里头删除了很多文件后,这个文件还是占据了很多的空间。怎么让Host文件的文件系统回收掉这些空间呢?如果这些存储是在Amazon这样的地方,占据一堆不用的空间会导致花了冤枉钱。原创 2014-03-21 23:29:07 · 26800 阅读 · 0 评论 -
试试Fedora 20里头的File System on File
Create a file to host the fs. Can also use dd here instead of truncate. $ truncate -s 128M bigfile $ du -csh bigfile $ stat bigfileCreate a fs on the file. There will be some war原创 2014-03-23 20:14:39 · 23554 阅读 · 0 评论 -
从FusionIO的NVM压缩接口谈起
厂商的宣传总喜欢搞得很吸引人:Fusion-io宣称可以翻倍MySQL的容量,http://www.zdnet.com/fusion-io-claims-to-double-mysql-capacity-7000027970/。Google一下会出现很多类似的内容。可惜宣传稿只是说可以这样、可以那样,显得很是高大。要想知道得更细一点,还得从基础学起。先看看:https://github.com/o原创 2014-04-03 22:17:01 · 24170 阅读 · 0 评论 -
NVMe终于有产品支持了
硬件的进步总是会带来接口以及软件的慢慢进步。先来看看这个新闻:http://www.storagereview.com/samsung_16tb_nvme_ssd_featured_in_the_new_dell_poweredge_r920_server。它说三星和戴尔合伙要在新的Dell PowerEdge R920服务器里头采用1.6TiB的NVMe SSD,这是世界上第一个支持NVMe接口原创 2014-03-27 22:16:42 · 26888 阅读 · 0 评论 -
没事学习一下SMB 3.0
注:突发奇想,想看看Mac OS上到底有没有sparse file,找到Wikipedia,说是没有:http://en.wikipedia.org/wiki/Sparse_file。简单验证了一下,确实是没有。然后不知道怎么逛到了微软的网站,看到这个熟悉的东西,New SMB features that are introduced in the Windows Server 2转载 2014-03-24 22:35:27 · 23976 阅读 · 0 评论 -
Gartner发布了集成系统的魔力象限 - Nutanix的关键技术是什么?
读报告,分析报告,写报告。这活儿我不专业。列出个文章供参考:1. 中文报道 http://news.e-works.net.cn/category8/news56692.htm2. 英文网页 http://www.nutanix.com/blog/2014/06/18/the-web-scale-vision/?utm_source=pressrelease&utm_medium=refe原创 2014-06-26 23:10:46 · 24309 阅读 · 0 评论 -
回顾一下著名的GFS论文
GFS与此前的很多分布式系统存在很大的不同。作为一个工程性产品,与此前的原型系统相比,差异更大。1. 前提假设不同此前的很多系统都假设节点故障不那么频繁,而GFS则假设节点故障是家常便饭。这应该说是时代不同了,以前的分布式系统考虑的节点数比较少,而且每个节点都比较高端,出故障的几率相对较小。GFS采用的则是普通的商用软硬件,出错的几率偏大。因此需要在系统中考虑持续监测,错误监测,容错以及自原创 2014-06-22 21:51:09 · 24441 阅读 · 0 评论 -
Notes on deduplication
重复数据消除原创 2011-01-05 21:52:00 · 23347 阅读 · 0 评论 -
What is NetApp's Cluster File System?
Data ONTAP GX: A Scalable Storage Clusterwww.usenix.org/event/fast07/tech/full_papers/eisler/eisler.pdfby M Eisler - Cited by 32 - Related articlesFAST '07: 5th USENIX Con原创 2013-09-24 22:37:29 · 23363 阅读 · 0 评论 -
An Analysis of Data Corruption in the Storage Stack
An Analysis of Data Corruption in the Storage Stack转载 2011-01-08 20:23:00 · 23694 阅读 · 0 评论 -
PCM: flash killer or flash road kill?
PCM: flash killer or flash road kill?转载 2011-01-12 18:22:00 · 896 阅读 · 0 评论 -
Snapshots: The alternative backup
Snapshots: The alternative backupThere is no free lunch.原创 2011-01-27 21:26:00 · 23442 阅读 · 0 评论 -
IBM XIV - Ease of Management
XIV原创 2011-01-27 22:43:00 · 23384 阅读 · 0 评论 -
Collections of Data Deduplication Links
Collections of Data Deduplication Links,重复数据消除技术的资源链接和简要介绍。原创 2011-03-05 11:19:00 · 23456 阅读 · 0 评论 -
How to install NetWorker in Linux?
NetBackup和NetWorker是两个主要的企业级备份软件,相比桌面上的软件,安装和使用都有点麻烦。这里采用的是一个x86 32bit的NetWorker试用版本。安装/启动GUI的过程中可能会出现一些小问题,如果不幸遇到了,那就一一解决吧。我曾经遇到过Sybase、Java等各模块的问题,通过分析log文件和查找支持文档,最终都解决了。Uninstall: rpm -e l原创 2012-02-11 21:12:03 · 25521 阅读 · 0 评论 -
NAND闪存的黯淡未来
这篇Paper名为The Bleak Future of NAND Flash Memory,也即NAND闪存的黯淡未来。写论文的家伙怎么也搞得像标题党似的。国内外的科技媒体对此文的论点都有转载。论文摘要:In recent years, flash-based SSDs have grown enormously both in capacity and popularity. In h原创 2012-02-25 20:57:37 · 23940 阅读 · 0 评论 -
Disk Corruption以及它们对DBMS的影响
众所周知,软硬件都有不靠谱的时候。可问题是一般人很难获取这些系统在实际使用中的故障率。作为这些产品的生厂商,一般都有一些方法来获取实际安装部署以及运行的情况,自然的,它们也掌握了很多实际的故障数据(不过它们未必会如实公开)。对于那些故障率不太高的情形,只有在安装部署的数量特别大时,才可能捕获到较大的故障出现次数。An Analysis of Data Corruption in the Stora原创 2012-02-17 21:36:18 · 23607 阅读 · 0 评论 -
给SPECsfs2008的数据画个图(图中少了个字母s)
原创 2012-12-16 19:30:22 · 23471 阅读 · 0 评论 -
给DBMS和File System开发者推荐一篇老文章:Metadata Logging in an NFS Server
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.160.3215&rep=rep1&type=pdf 从年份上看,文章内容有点老。但是,从基本原理来看,对于DBMS和File System的开发者还是有些参考价值的。如果你对这些系统的历史有点兴趣,或者因为某些原因需要从历史的角度来理解产品和技术的演变,以它入手还是不错的原创 2013-01-06 22:10:55 · 23585 阅读 · 0 评论 -
文件系统和数据库的对比
文件系统和数据库的对比本文主要从单机系统的角度出发,对比通用的文件系统和数据库技术。想到哪里就写到哪里,遗漏的地方应该很多。共同点:同属于系统软件或底层软件都是用来存储和访问数据的都有着悠久的研究开发历史都有成熟的标准或规范。这既有利于开发可移植的程序,又不利于开发创新的系统,特别是分布式系统。实现技术上也有很多的共同点大都采用C/C++这样更底层的语言原创 2015-03-31 20:30:06 · 27467 阅读 · 0 评论