刘爱贵的专栏

中科院博士,长期从事存储领域研发工作,分布式存储资深理论研究与实践者,GlusterFS 技术专家,当前专注于Server SAN。...

排序:
默认
按更新时间
按访问量

GlusterFS集群文件系统研究

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来...

2011-03-28 21:01:00

阅读数:84435

评论数:230

KMP算法深度解析

 摘要:KMP算法是字符串匹配的经典算法,由于其O(m+n)的时间复杂度,至今仍被广泛应用。大道至简,KMP算法非常简洁,然而,其内部却蕴含着玄妙的理论,以至许多人知其然而不知其所以然。本文旨在解开KMP算法的内部玄妙所在,希望能够有助于学习与理解。 1、KMP算法    一种改进的字符串匹配算法...

2009-08-04 22:59:00

阅读数:66487

评论数:46

超融合架构真的完美吗?

超融合架构的优势和客户价值这个已经勿容置疑,各个厂商和媒体已经成功地帮客户洗脑了,和客户交流不提超融合都俨然被认为落伍,这里不用也不想再赘述。从辩证角度看,任何事物都不可能是完美的,超融合是不是也存在一些问题或局限性呢?超融合有适用场景,但肯定不是普遍适用的。因此,这篇文章想换一个角度来看超融合,...

2016-07-01 00:12:48

阅读数:56725

评论数:4

一位老码农的编程简史

话说前些日子在微博上看到一个“10年码龄的老码农”QQ群,掐指一算自己从95年接触计算机编程似乎也达到这个标准了,于是突然来了兴致就加入了这个群。这个群真可谓藏龙卧虎,从DOS时期的第一代程序员,到Windows时期的第二代程序员,再到目前互联网时期的第三代程序员,很多重量级的大牛都云集与此,比如...

2012-03-10 23:17:15

阅读数:45665

评论数:219

重复数据删除(De-duplication)技术研究

De-duplication,即重复数据删除,它是一种目前主流且非常热门的存储技术,可对存储容量进行有效优化。它通过删除数据集中重复的数据,只保留其中一份,从而消除冗余数据。这种技术可以很大程度上减少对物理存储空间的需求,从而满足日益增长的数据存储需求。本文对Dedupe的概念和优势进行了阐述,并...

2010-08-21 18:52:00

阅读数:42633

评论数:121

Taobao分布式文件系统TFS简析

TFS官方称“TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据”。我个人花了点时间研究一下TFS的源码和相关技术文档,TFS与目前一些主流的开源分布式文件系统设计思想是相似的,如HDFS, MFS, KF...

2010-10-17 11:58:00

阅读数:41928

评论数:73

磁盘IOPS计算与测量

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用,如OLTP(Online Tr...

2011-01-28 18:30:00

阅读数:37012

评论数:5

分布式存储系统设计的若干原则

分布式存储系统设计中很多指标是不可得兼的,必须根据需求有所取舍。CAP理论、最终一致性、BASE理论、I/O五分钟法则、Amdahl定律和Gustafson定律、摩尔定律等,就是分布式存储系统设计的的几个经典的指导法则。

2011-02-20 16:06:00

阅读数:36162

评论数:27

数据同步算法研究

基于Rsync和RDC算法思想并借助重复数据删除(De-duplication)技术,对数据同步算法进行深入研究与分析,并研发了原型系统。首先介绍rsync 与RDC算法,然后详细描述算法设计与相应的数据结构,并重点分析文件分块、差异编码、文件同步算法,最后简介推拉两种应用模式。

2010-08-06 16:52:00

阅读数:33105

评论数:111

集群NAS技术架构

集群NAS是一种横向扩展(Scale-out)存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可,集群NAS已经成为主流存储技术之一。这里主要剖析集群NAS的三种技术架构,并简单介绍了开源集群NAS解决方案。

2011-05-15 17:19:00

阅读数:32083

评论数:26

基于开源软件构建高性能集群NAS系统

大数据时代的到来已经不可阻挡,面对数据的爆炸式增长,尤其是半结构化数据和非结构化数据,NoSQL存储系统和分布式文件系统成为了技术浪潮,得到了长足的发展。非结构化数据目前呈现更加快速的增长趋势,IDC研究报告分析指出,到2012年非结构化数据将占到数据存储总量的80%以上。集群NAS是一种横向扩展...

2011-12-29 22:32:33

阅读数:28977

评论数:90

匿名无须交互输入用户名和密码的samba配置方法(security = user)

NAS(Network Attached Storage),网络附加存储需要支持NFS(Network File System)和CIFS(Common Internet File Sysem)一种或两种文件共享访问协议。NAS的配置方法相对都比较简单,这方面的资料很多,后面附录了NFS和CIFS...

2009-12-25 21:44:00

阅读数:28726

评论数:2

Lustre I/O性能特点与最佳实践

Lustre是面向集群的存储架构,它是基于Linux平台的开源集群(并行)文件系统,提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能,能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构,借助强大的横向扩展能力,...

2011-05-30 22:36:00

阅读数:27563

评论数:41

海量小文件问题综述

海量小文件LOSF问题是工业界和学术界公认的难题,分析了LOSF问题的由来以及典型的应用场景,并简要阐述了当前文件系统在LOSF优化方面的进展。重点分析LOSF问题的根本原因,并给出具体的优化方法和策略,期望对LOSF问题的研究和优化实践提供一定的理论指导。

2013-08-15 12:13:51

阅读数:27215

评论数:14

换个角度深入理解GlusterFS

GlusterFS不是一个完美的分布式文件系统,这个系统自身也有许多不足之处,包括众所周知的元数据性能和小文件问题。没有普遍适用各种应用场景的分布式文件系统,通用的意思就是通通不能用,四大开源系统不例外,所有商业产品也不例外。每个分布式文件系统都有它适用的应用场景,适合的才是最好的。这一次我们反其...

2014-03-10 18:23:25

阅读数:23162

评论数:50

快照(Snapshot)技术发展综述

快照(Snapshot)技术发展综述刘爱贵 摘要:传统数据备份技术存在备份窗口、恢复时间目标RTO和恢复时间点RPO过长的问题,无法满足企业关键性业务的数据保护需求,因此产生了数据快照技术。本文对快照技术的概念、特点、实现技术和发展现状进行了概括性阐述,并对其未来的发展进行了展望。关键词:快照,备...

2009-08-28 19:58:00

阅读数:22733

评论数:13

pNFS实验环境部署

什么是pNFS?pNFS是并行网络文件系统,即NFSv4.1,与NFSv3不同的是,它将元数据与数据进行分离,允许客户端直接与数据服务器进行交互。这种机制解决了传统NFS的性能瓶颈问题,从而使得系统获得高性能和高扩展性的特性。pNFS支持多种协议(Block[FC], Object[OSD], F...

2011-06-19 17:13:00

阅读数:21519

评论数:22

对象存储(Object-based Storage)概述

什么是对象存储?多次在不同场合被问起这个问题,于是就想写篇小综述文章。网上查找资料时,找到几篇不错的资料,不想做重复工作,简单整理一下,供自己和大家参考。 什么是对象存储(OSD)? 存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构,而对象存储(Object-based S...

2014-01-08 00:03:04

阅读数:21517

评论数:7

如何区分分布式/集群/并行文件系统?

分布式文件系统、集群文件系统、并行文件系统,这三种概念很容易混淆,实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系,其实它们之间在概念上的确有交叉重叠的地方,但是也存在显著不同之处。

2011-04-22 23:26:00

阅读数:20672

评论数:19

Gluster常见故障处理和HOWTO资源

Gluster常见故障处理方法,根据官方Troubleshooting文档汇编而成,供大家解决Gluster问题参考,同时罗列了一些GlusterFS进阶话题HOWTO资源。欢迎各位同学补充,共同研究Gluster原理并分享应用经验。 Q1:Gluster需要占用哪些端口? Gluster管理...

2013-12-25 18:33:05

阅读数:20655

评论数:30

提示
确定要删除当前文章?
取消 删除
关闭
关闭