刘爱贵的专栏

中科院博士,长期从事存储领域研发工作,分布式存储资深理论研究与实践者,GlusterFS 技术专家,当前专注于Server SAN。...

存储原创文章精选

一直坚持撰写存储相关的原创博文,蓦然发现已经小有规模,然而总体显得有点杂乱。回顾了一下这些文章,选择了如下这些花了点心思认真思考并能够经得起推敲的文章,组成一个所谓的存储博文精选专辑,后续会不断进行补充。这样,一来是为了自我勉励,二来是为有需要的朋友查阅方便。 [34] 分布式文件系统发展综述...

2012-02-10 23:27:27

阅读数:17410

评论数:16

分布式文件系统测试方法与测试工具

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX...

2012-02-07 21:55:34

阅读数:18922

评论数:43

关于Gluster稳定性的一个BUG

这一段时间一直在研究Gluster集群文件系统,其技术架构和大原理请参考前面的一篇文章“Gluster集群文件系统研究”。为了验证其所声称的高扩展、高可用、高性能的特点,我部署了一个较大规模的测试环境,4个I/O节点(即brick servers,DELL R

2011-07-06 15:41:55

阅读数:8985

评论数:28

pNFS实验环境部署

什么是pNFS?pNFS是并行网络文件系统,即NFSv4.1,与NFSv3不同的是,它将元数据与数据进行分离,允许客户端直接与数据服务器进行交互。这种机制解决了传统NFS的性能瓶颈问题,从而使得系统获得高性能和高扩展性的特性。pNFS支持多种协议(Block[FC], Object[OSD], F...

2011-06-19 17:13:00

阅读数:21417

评论数:22

Lustre I/O性能特点与最佳实践

Lustre是面向集群的存储架构,它是基于Linux平台的开源集群(并行)文件系统,提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能,能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构,借助强大的横向扩展能力,...

2011-05-30 22:36:00

阅读数:27472

评论数:41

网络数据同步开发库libsync

"数据同步算法研究"一文提出了一种改进的数据同步算法,我在实现的原型系统基础上,将文件切分、差异编码、文件同步等关键算法抽取出来封装成动态开发库libsync,方便自己的开发应用。在本人开发的deduputil,WSIO, wsync等软件中,均使用了libsync动态函数库,...

2010-10-18 23:30:00

阅读数:7070

评论数:13

数据相似性检测算法

本文研究了数据相似性的计算方法,对Bloom filter和LCS两种常用相似性检测算法进行剖析、实现和分析比较。

2010-09-08 10:57:00

阅读数:7406

评论数:17

文件系统性能测试

简要介绍文件系统性能的衡量指标、性能关键点,给出常用测试基准benchmark和一些非标准的benchmark。

2010-07-30 16:38:00

阅读数:7130

评论数:7

inotify文件系统事件驱动机制

Windows系统一直有比较完善的文件系统变化通知机制,并为用户提供了FindFirstChangeNotification 等API来方便监控文件系统事件。Linux kernel从2.6.13版本起引入了inotify文件系统事件通知机制,以改善用户体验,使得用户空间可以非常方便地对文件系统变...

2010-07-22 10:08:00

阅读数:2803

评论数:0

SourceForge上发布dedup util

dedup util是一款开源的轻量级文件打包工具,它基于块级的重复数据删除技术,可以有效缩减数据容量,节省用户 存储空间。目前已经在Sourceforge上创建项目,并且源码正在不断更新中。https://sourceforge.net/projects/deduputil

2010-06-02 12:20:00

阅读数:10427

评论数:34

Linux文件系统选择

通过综合使用多种标准文件系统Benchmarks对Ext3, Ext4, Reiserfs, XFS, JFS, Reiser4的性能测试对比,对不同应用选择合适的文件系统给出以下方案,供大家参考。文件系统性能测试数据见附表。1、大量小文件(LOSF, Lost of small files)I/...

2010-04-23 16:36:00

阅读数:13579

评论数:4

Linux文件系统性能优化

由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除了采用性能更高的硬件(如磁盘、HBA卡、CPU、MEM等)外,我们还可以通过对文件系统进行性能调优,...

2010-04-13 17:49:00

阅读数:10572

评论数:0

WSIO - 基于WEB服务的远程文件I/O

 WSIO - 基于WEB服务的远程文件I/O团队名称:IHEPer作者:刘爱贵 电子邮箱:liuag@ihep.ac.cn 单位:中科院高能物理研究所 计算中心 PDF下载:http://download.csdn.net/source/2143070摘要WSIO是一个基于Web Service...

2010-03-19 11:48:00

阅读数:14825

评论数:14

基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介 :刘爱贵,研究方向为网络存储、数据挖掘和分布式计算;毕业于中科院,目前从事存储软件研发工作。 Email: Aigui.Liu@gmail.com注: 作者学识和经验水平有限,如有错误或不当之处,敬请批评指正。 0、引言    Tar, winrar, win...

2010-01-09 20:39:00

阅读数:10227

评论数:18

匿名无须交互输入用户名和密码的samba配置方法(security = user)

NAS(Network Attached Storage),网络附加存储需要支持NFS(Network File System)和CIFS(Common Internet File Sysem)一种或两种文件共享访问协议。NAS的配置方法相对都比较简单,这方面的资料很多,后面附录了NFS和CIFS...

2009-12-25 21:44:00

阅读数:28125

评论数:2

ZFS十大最佳功能

Source:http://tech.sina.com.cn/b/2009-11-30/09223635032.shtml Sun在2005年推出了开源文件系统ZFS,最初Sun是为OpenSolaris设计的,随着时间的发展,用户逐渐发现其一些良好的功能,下面列举的ZFS十大功能,是ZFS支持者...

2009-11-30 09:43:00

阅读数:2395

评论数:0

Linux系统dameon程序的core dump设置

To enable dumps for every daemon: ulimit -c unlimited >/dev/null 2>&1 (-c maximum size of core files)ulimit -S -c ${DAEMON_COREFILE_LIMIT:-...

2009-10-28 16:59:00

阅读数:1869

评论数:0

动态分配二维数组

C/C++程序中经常需要使用malloc / new 来生成数组。对于一维数组,这非常简单,而二维数组,动态分配要稍微复杂一点。这里给出动态分配二维数组的两种方法。 #include #include #define X 100#define Y 100// 方法一:数组空间不连续,两次调用mal...

2009-05-09 15:54:00

阅读数:2237

评论数:9

C语言中函数参数的入栈顺序

对技术执着的人,比如说我,往往对一些问题,不仅想做到“知其然”,还想做到“知其所以然”。C语言可谓博大精深,即使我已经有多年的开发经验,可还是有许多问题不知其所以然。某天某地某人问我,C语言中函数参数的入栈顺序如何?从右至左,我随口回答。为什么是从右至左呢?我终究没有给出合理的解释。于是,只好做了...

2009-05-02 15:50:00

阅读数:6215

评论数:12

GNU C中x++是原子操作吗?

什么是原子操作? 所谓原子操作,就是"不可中断的一个或一系列操作" 。在确认一个操作是原子的情况下,多线程环境里面,我们可以避免仅仅为保护这个操作在外围加上性能开销昂贵的锁,甚至借助于原子操作,我们可以实现互斥锁。 那么,GNU C中x++是原子操作吗?请看下面一段代码:#in...

2009-05-01 11:20:00

阅读数:3511

评论数:4

提示
确定要删除当前文章?
取消 删除
关闭
关闭