刘爱贵的专栏

中科院博士,长期从事存储领域研发工作,分布式存储资深理论研究与实践者,GlusterFS 技术专家,当前专注于Server SAN。...

排序:
默认
按更新时间
按访问量

存储原创文章精选

一直坚持撰写存储相关的原创博文,蓦然发现已经小有规模,然而总体显得有点杂乱。回顾了一下这些文章,选择了如下这些花了点心思认真思考并能够经得起推敲的文章,组成一个所谓的存储博文精选专辑,后续会不断进行补充。这样,一来是为了自我勉励,二来是为有需要的朋友查阅方便。 [34] 分布式文件系统发展综述...

2012-02-10 23:27:27

阅读数:17508

评论数:16

无交换机实现集群网络互联

分布式集群中对于高性能网络的需求日益增强,尤其是存储集群,对于数据交换的网络带宽、延迟等要求更高。而对于超小规模集群(三节点、四节点等),万兆交换机的使用严重地增加了TCO。这成为了一些小微型企业小规模集群建设的一个门槛。这里对无交换机实现集群网络互联进行了一些简单的探索。

2017-01-04 23:28:08

阅读数:3829

评论数:0

海量小文件问题综述

海量小文件LOSF问题是工业界和学术界公认的难题,分析了LOSF问题的由来以及典型的应用场景,并简要阐述了当前文件系统在LOSF优化方面的进展。重点分析LOSF问题的根本原因,并给出具体的优化方法和策略,期望对LOSF问题的研究和优化实践提供一定的理论指导。

2013-08-15 12:13:51

阅读数:27240

评论数:14

分布式文件系统

PDF格式PPT下载:分布式文件系统

2012-05-30 21:27:04

阅读数:16530

评论数:17

分布式文件系统测试方法与测试工具

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX...

2012-02-07 21:55:34

阅读数:19099

评论数:43

相似数据检测算法

相似数据检测算法对给定的一对数据序列计算两者之间的相似度([0,1], 1表示完全相同)或距离([0, ), 0表示完全相同),从而度量数据之间的相似程度。相似数据检测在信息科学领域具有非常重要的应用价值,比如搜索引擎检索结果的聚类与排序、数据聚类与分类、Spam检测、论文剽窃检测、重复数据删除、...

2011-10-22 22:21:40

阅读数:18421

评论数:35

分布式文件系统元数据服务模型

随着非结构化数据的爆炸,分布式文件系统进入了发展的黄金时期,从高性能计算到数据中心,从数据共享到互联网应用,已经渗透到数据应用的各方各面。对于大多数分布式文件系统(或集群文件系统,或并行文件系统)而言,通常将元数据与数据两者独立开来,即控制流与数据流进行分离,从而获得更高的系统扩

2011-09-05 12:05:38

阅读数:13551

评论数:22

深入理解Bloom Filter

Bloom Filter是1970年由Bloom提出的,最初广泛用于拼写检查和数据库系统中。近年来,随着计算机和互联网技术的发展,数据集的不断扩张使得 Bloom filter获得了新生,各种新的应用和变种不断涌现。Bloom filter是一个空间效率很高的数据结构,它由一个位

2011-07-13 12:40:43

阅读数:12035

评论数:10

Lustre I/O性能特点与最佳实践

Lustre是面向集群的存储架构,它是基于Linux平台的开源集群(并行)文件系统,提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能,能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构,借助强大的横向扩展能力,...

2011-05-30 22:36:00

阅读数:27569

评论数:41

集群NAS技术架构

集群NAS是一种横向扩展(Scale-out)存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可,集群NAS已经成为主流存储技术之一。这里主要剖析集群NAS的三种技术架构,并简单介绍了开源集群NAS解决方案。

2011-05-15 17:19:00

阅读数:32109

评论数:26

如何区分分布式/集群/并行文件系统?

分布式文件系统、集群文件系统、并行文件系统,这三种概念很容易混淆,实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系,其实它们之间在概念上的确有交叉重叠的地方,但是也存在显著不同之处。

2011-04-22 23:26:00

阅读数:20685

评论数:19

深入理解数据压缩与重复数据删除

数据压缩与重复数据删除两种技术有何区别与联系呢?实际中又该如何正确应用呢?笔者之前对数据压缩原理和技术没有研究,因此做了点功课,查阅整理了相关资料,并与重复数据删除技术进行对比分析。

2011-04-14 20:29:00

阅读数:20002

评论数:28

GlusterFS集群文件系统研究

GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来...

2011-03-28 21:01:00

阅读数:84507

评论数:230

文件系统文献推荐

非常好的文件系统阅读文献,研究存储和文件系统的不能不读的,其中的每一个文件系统都非常经典的,代表存储或者文件系统发展过程的里程碑。

2011-03-22 21:35:00

阅读数:6484

评论数:11

分布式存储系统设计的若干原则

分布式存储系统设计中很多指标是不可得兼的,必须根据需求有所取舍。CAP理论、最终一致性、BASE理论、I/O五分钟法则、Amdahl定律和Gustafson定律、摩尔定律等,就是分布式存储系统设计的的几个经典的指导法则。

2011-02-20 16:06:00

阅读数:36176

评论数:27

磁盘IOPS计算与测量

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。随机读写频繁的应用,如OLTP(Online Tr...

2011-01-28 18:30:00

阅读数:37048

评论数:5

高效存储技术研究

现代信息呈现爆炸式增长趋势,数据总量急剧膨胀。信息在带来价值和财富的同时,也使给我们带来许多挑战,诸如存储空间巨大、管理复杂性、存储利用率低下、电力消耗巨大、冷却能力不足、总体拥有成本高昂。数据压缩、重复数据删除、自动精简配置、自动分层存储、存储虚拟化等高效存储技术有效解决或缓解了这些难题。然而,...

2010-12-08 21:29:00

阅读数:18293

评论数:38

分布式文件系统名字空间实现研究

名字空间(Namespace)即文件系统文件目录的组织方式,是文件系统的重要组成部分,为用户提供可视化的、可理解的文件系统视图,从而解决或降低人类与计算机之间在数据存储上的语义间隔。目前树状结构的文件系统组织方式与现实世界的组织结构最为相似,被人们所广泛接受。因此绝大多数的文件系统皆以Tree方式...

2010-11-07 18:57:00

阅读数:11642

评论数:20

基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介 :刘爱贵,研究方向为网络存储、数据挖掘和分布式计算;毕业于中科院,目前从事存储软件研发工作。 Email: Aigui.Liu@gmail.com注: 作者学识和经验水平有限,如有错误或不当之处,敬请批评指正。 0、引言    Tar, winrar, win...

2010-01-09 20:39:00

阅读数:10298

评论数:18

递归函数论与程序设计的关系

递归函数论与程序设计的关系(刘爱贵 高能物理研究所计算中心 北京 2003年)摘要: 递归函数论是元计算机科学理论基础,它与计算机科学的实践紧密相关。递归思想影响了程序设计语言的构造,甚至影响了计算机系统结构。本文根据递归函数类的构造过程来论证递归与程序设计语言基层控制机制的关系,以及递归思想对计...

2009-11-29 21:54:00

阅读数:2933

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭