自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘爱贵的专栏

中科院博士,长期从事存储领域研发工作,分布式存储资深理论研究与实践者,GlusterFS 技术专家,专注软件定义存储,聚焦智能存储、国产自主可控存储和EB级存储方向。。...

原创 GlusterFS原创资源

GlusterFS分布式文件系统原创资源合集,持续更新补充,方便自己和广大同学查阅。 [1] GlusterFS集群文件系统研究 [2] 基于开源软件构建高性能集群NAS系统 [3]创建Glusterfs分布式RAID10卷 [4] 设计新Xlator扩展GlusterFS [5] G...

2013-12-15 09:41:54 17987 35

原创 存储原创文章精选

一直坚持撰写存储相关的原创博文,蓦然发现已经小有规模,然而总体显得有点杂乱。回顾了一下这些文章,选择了如下这些花了点心思认真思考并能够经得起推敲的文章,组成一个所谓的存储博文精选专辑,后续会不断进行补充。这样,一来是为了自我勉励,二来是为有需要的朋友查阅方便。 [36] FASS分布式全闪存...

2012-02-10 23:27:27 18263 14

原创 突破硬件瓶颈(二):存储架构和协议瓶颈

The kernel isn’t the solution. The kernel is the problem. ——Robert Graham CEO of Errata Security Linux系统设计之初,采用了分级、分层设计方式,用户调用底层设备,需要切换到内核态,由系统进行调用,...

2020-06-21 10:45:37 91 0

原创 突破硬件瓶颈(一):Intel体系架构的发展与瓶颈挖掘

软件定义存储SDS正在从容量型向性能型演进,千万级IOPS和微秒级低延迟,非常具有挑战性。3节点标准x86服务器,能否有可能实现1000万IOPS与200us低延迟?这个可以有。硬件性能并不是瓶颈所在,软件颠覆才是关键。 想要取得如此强的性能,必须要有突破时下存储软件对于硬件利用的瓶颈。 ...

2020-06-21 10:40:17 95 0

原创 SDS发展小观察

1、SDS科普 SDS(Software Defined Storage)即软件定义存储,简单地说就是将存储硬件和软件进行分离,采用标准化硬件作为载体(如X86架构),基于软件实现企业级存储功能和服务。 相对于传统存储硬件盒子,SDS中存储软件成为了核心。SDS通常都是分布式存储,形式分为文件...

2020-05-18 09:00:01 275 1

原创 FASS全闪高性能文件网关解决方案

移动互联网、人工智能、5G、IoT等技术的发展,海量的终端催生了越来越高的业务性能需求,越来越多的文件业务场景要求被“加速”,以提供快速响应和高带宽访问。HDD存储设备已无法满足高IOPS、低延迟的业务需求,越来越多的企业数据中心开始选择全闪存的解决方案。据Gartner预计,到2020年数据中心...

2020-04-19 08:57:34 310 0

原创 【译】利用uDepot获得快速NVM存储的性能

小Tao们在进行分布式全闪存文件系统的预研工作,从学术圈和工业界寻找灵感,发现这篇前沿文章,并翻译出来和大家学习分享。 “这是一篇KV存储技术方向中少见的讲述如何即高效又经济地使用快速闪存设备的文章,观点新颖,方法独特,参考和使用价值很高。” ——译者 摘要 许多应用程序需要低延迟的K...

2020-03-01 10:52:16 526 0

原创 FASS分布式全闪存储技术白皮书

当前单块NVMe SSD性能可以达到100万IOPS,SSD硬盘与HDD机械硬盘有了天壤之别。传统存储的软硬件架构,都已经不再适合承载高速闪存介质,它们从根本上制约了新型存储介质的生产力。全闪存阵列已经逐步向全NVMe硬件转移,然而其扩展性与灵活性,在云计算时代始终是最大的瓶颈。分布式全闪存储系统...

2019-12-17 14:26:18 1005 1

原创 GlusterFS性能优化-让目录飞

根据IDC预测2020年全球数据量将达到44ZB,其中80%来自于非结构化数据的贡献。随着云计算、大数据、物联网、AI、5G等技术的发展应用,可快速扩展的基础架构成为必需,这些需求推动了软件定义存储(SDS)的增长。2018年中国软件定义存储市场需求场景中,文件存储仍然是主力,占比高达62.3%。...

2019-12-08 15:15:41 796 0

原创 存储洞察:从技术到市场

​追溯到2003年,算起来踏入存储行业已经超过15年,从存储学习到工作,从存储学术到产品,从存储技术到市场,从存储职场到创业,估且算是一名存储老兵了。数据很重要,但存储在中国境遇却很尴尬,因为敬畏很多企业不敢涉足,而且国内还没有一家真正意义上成功的存储厂商。创业这么几年以来,经常会被提问各种尖锐深...

2019-10-23 20:07:27 2388 0

原创 开源对象存储MinIO技术白皮书

MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO,Harshavardhana曾经是GlusterFS的开发人员,直到2011年红帽收购了Gluster公司。M...

2019-09-27 13:49:38 2917 0

原创 GlusterFS元数据机制分析

​TaoCloud团队原创:微信公众号文章访问 GlusterFS作为一个免费开源的分布式文件系统,以其简约的架构设计,完善的协议支持,无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点,拥有着旺盛的生命力,在工业界受到极大的欢迎和使用。 就像所有的事情一样,都不可能是尽善...

2019-08-25 10:19:49 1098 0

原创 GlusterFS场景优化之文件预分配

TaoCloud团队原创:http://www.taocloudx.com/index.php?a=shows&catid=4&id=113 随着新技术的持续发展,全球数据量将继续高速增长,据分析机构预测,中国数据量增长最为迅速,预计到2025年将增加到48.6ZB。其中视频监控...

2019-06-21 15:10:48 823 0

原创 深入理解GlusterFS之POSIX接口

剖析GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理,给出提升大I/O带宽性能的具体方法,并提出FUSE进一步的优化思路。

2017-09-01 19:34:31 8936 0

原创 GlusterFS企业级功能之EC纠删码

纠删码是GlusterFS提供的一种企业级数据高可用功能,它能够在提供高可用的同时保证很高的存储利用率,但也会消耗一定的CPU计算资源。

2017-09-01 19:23:44 4541 0

原创 SSAN之VAAI特性功能实现剖析

SSAN支持VAAI存储特性功能。VAAI是vSphere专门为存储提供的加速接口,可以降低主机资源压力和网络资源要求,提高I/O并发能力和性能。

2017-04-27 22:28:59 8684 0

原创 GlusterFS文件系统弹性哈希算法

GlusterFS采用独特的无中心对称式架构,无需专用的元数据服务集群,使用DHT算法进行文件分布和定位。本文深入剖析GlusterFS文件系统弹性哈希算法。

2017-04-18 00:45:00 5800 0

原创 MaxIO智能缓存加速技术

MaxIO是一款SSD智能缓存加速软件,能够透明对传统存储进行性能加速。本文是MaxIO的技术白皮书,重点剖析其架构原理,并对MaxIO特性和局限性作了简要阐述。

2017-02-05 20:17:48 5652 4

原创 无交换机实现集群网络互联

分布式集群中对于高性能网络的需求日益增强,尤其是存储集群,对于数据交换的网络带宽、延迟等要求更高。而对于超小规模集群(三节点、四节点等),万兆交换机的使用严重地增加了TCO。这成为了一些小微型企业小规模集群建设的一个门槛。这里对无交换机实现集群网络互联进行了一些简单的探索。

2017-01-04 23:28:08 4697 0

原创 SSAN高可用双机技术

通常情况下SSAN分布式块存储集群建议3个节点起配,然而一些客户出于应用规模和降低成本考虑,尤其是SMB中小企业客户,两个节点的SSAN高可用集群方案是否可行呢?这个是必须行的。SSAN高可用双机技术方案,采用双副本冗余策略,iSCSI多路径采用两条路径,这里主要讨论管理节点高可用和zookeep...

2016-10-25 22:14:09 5938 0

原创 超融合架构真的完美吗?

超融合架构的优势和客户价值这个已经勿容置疑,各个厂商和媒体已经成功地帮客户洗脑了,和客户交流不提超融合都俨然被认为落伍,这里不用也不想再赘述。从辩证角度看,任何事物都不可能是完美的,超融合是不是也存在一些问题或局限性呢?超融合有适用场景,但肯定不是普遍适用的。因此,这篇文章想换一个角度来看超融合,...

2016-07-01 00:12:48 78704 6

原创 TaoCloud SSAN+VMWare vSphere超融合解决方案

VSAN那么好,用户还会考虑其他存储方案吗?VMWare vSphere是业界领先的虚拟化平台,VSAN是一种新型的分布式软件定义存储,vSphere+VSAN可谓是完美的虚拟化整体解决方案。但是,永远不要低估用户的诉求,只要存在较大的实际动力,在一些特定的场景下,用户就会主动寻求替换VSAN的存...

2016-06-05 17:15:07 17408 6

原创 TaoCloud SSAN+oVirt系虚拟化解决方案

TaoCloud SSAN是分布式块存储产品,oVirt是Redhat的开源IaaS平台,这两者计算存储融合可提供一体化的虚拟化/私有云解决方案,帮助客户获得更好的高性能、高可用、扩展性、业务连续性、简化管理、更低的整体成本。本文档介绍TaoCloud SSAN + oVirt的融合解决方案,重点...

2016-05-30 20:21:45 15153 0

原创 GlusterFS分布式文件系统快速管理

TaoCloud XDFS基于GlusterFS开源分布式文件系统,进行了系统优化、工程化、定制化和产品化工作,五年以上的实践积累了大量实践经验,包括客户案例、最佳实践、定制开发、咨询服务和技术培训。XDFS推崇KISS大道至简的哲学,从架构到使用、管理都很简便。

2016-02-27 00:29:40 11092 6

原创 一位SDS创业者眼中的Ceph

近来有不少朋友征求我对Ceph的看法,那我就简单客观地评价一下,如有不妥还请斧正。说实话,我不太喜欢Ceph的复杂性,我喜欢KISS原则的简单系统,比如GlusterFS。但Ceph的确是个好东西,我们在产品研发设计也参考了不少它的设计思想、算法和源码。 CEPH优点(选择CEPH的理由):...

2015-11-29 23:52:30 9734 2

原创 Gluster libgfapi接口和应用实例

1、GlusterFS Libgfapi接口简介 众所周知,GlusterFS分布式文件系统最为常用的访问接口是Native协议接口,即基于FUSE实现的POSIX兼容接口。这种接口相对于NAS访问接口,性能较好,而且对传统应用或遗留系统具有良好的适用性,应用程序不需要做任何修改。之前的NAS访...

2014-08-08 19:04:36 14571 37

原创 Server SAN:云计算时代的弄潮儿

4月30日,Redhat宣布1.71亿美元收购Ceph开发商Inktank公司,加上之前2011年10月1.36亿美元收购的Gluster,Redhat已经将两大著名的开源分布式文件系统纳入旗下。5月17日,最后一台小型机在阿里巴巴支付宝下线,标志着阿里已经完成“去IOE化”。随后国内互联网以及有...

2014-07-07 23:46:45 10920 2

原创 换个角度深入理解GlusterFS

GlusterFS不是一个完美的分布式文件系统,这个系统自身也有许多不足之处,包括众所周知的元数据性能和小文件问题。没有普遍适用各种应用场景的分布式文件系统,通用的意思就是通通不能用,四大开源系统不例外,所有商业产品也不例外。每个分布式文件系统都有它适用的应用场景,适合的才是最好的。这一次我们反其...

2014-03-10 18:23:25 25856 60

原创 GlusterFS性能调优基本思路

基于GlusterFS构建的集群NAS系统是一个复杂的系统工程,其整体性能表现与特定应用特征、硬件和软件配置等息息相关。系统部署时,如果性能与估算或经验值相差较大,则需要根据实际情况进行性能调优。根据Gluster系统组成,性能调优主要从硬件、OS系统和GlusterFS文件系统三大部分着手,通过...

2014-01-08 23:15:04 12997 12

原创 对象存储(Object-based Storage)概述

什么是对象存储?多次在不同场合被问起这个问题,于是就想写篇小综述文章。网上查找资料时,找到几篇不错的资料,不想做重复工作,简单整理一下,供自己和大家参考。 什么是对象存储(OSD)? 存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构,而对象存储(Object-based S...

2014-01-08 00:03:04 29178 10

原创 Gluster常见故障处理和HOWTO资源

Gluster常见故障处理方法,根据官方Troubleshooting文档汇编而成,供大家解决Gluster问题参考,同时罗列了一些GlusterFS进阶话题HOWTO资源。欢迎各位同学补充,共同研究Gluster原理并分享应用经验。 Q1:Gluster需要占用哪些端口? Gluster管理...

2013-12-25 18:33:05 25448 37

原创 GlusterFS 4.0开发计划解读

GlusterFS社区最近给出了4.0的开发计划,其目标是对3.x版本在扩展性和易操作性方面作出重大改进,支持10K节点的集群扩展能力。为此,GlusterFS将在系统架构、控制平面和数据平面的内部机制、命令行工具和接口等方面作全新的重构,以实现更大的扩展性和易用性,期望使得GlusterFS成为...

2013-12-14 08:52:53 11279 11

原创 海量小文件问题综述

海量小文件LOSF问题是工业界和学术界公认的难题,分析了LOSF问题的由来以及典型的应用场景,并简要阐述了当前文件系统在LOSF优化方面的进展。重点分析LOSF问题的根本原因,并给出具体的优化方法和策略,期望对LOSF问题的研究和优化实践提供一定的理论指导。

2013-08-15 12:13:51 30975 12

原创 集群存储高可用方法

云存储和大数据背景下,数据呈现爆炸式增长趋势。根据研究显示,2020年数字宇宙将达到35.2 ZB,比2009年的0.8 ZB猛增44倍,这其中80%以上为非结构化数据。高性能计算、医学影像、石油和天然气勘探、数字媒体和社会化WEB等大量数据密集型应用导致数据的井喷,不断对存储方法提出新的严峻挑战...

2013-05-03 22:15:20 14556 5

原创 设计新Xlator扩展GlusterFS

1. GlusterFS概述 GlusterFS是一个开源的分布式文件系统,具有强大的Scale-Out横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数...

2012-07-25 20:16:18 14182 17

原创 换个角度思考大数据

什么是大数据?IDC的权威定义为:满足4V(Variety, Velocity, Volume, Value,即种类多、流量大、容量大、价值高)指标的数据称为大数据。IDC对大数据技术的定位为:通过高速捕捉、发现和/或分析,从大容量数据中获取价值的一种新的技术架构。大数据主要涉及两个不同的技术领域...

2012-07-15 21:16:05 10600 4

原创 分布式文件系统

PDF格式PPT下载:分布式文件系统

2012-05-30 21:27:04 17050 17

原创 一位老码农的编程简史

话说前些日子在微博上看到一个“10年码龄的老码农”QQ群,掐指一算自己从95年接触计算机编程似乎也达到这个标准了,于是突然来了兴致就加入了这个群。这个群真可谓藏龙卧虎,从DOS时期的第一代程序员,到Windows时期的第二代程序员,再到目前互联网时期的第三代程序员,很多重量级的大牛都云集与此,比如...

2012-03-10 23:17:15 46099 200

原创 一位存储研发者的图书清单

所谓“行千里路,读万卷书”,读书应该算作是最好的学习方式。本人有个不好的习惯,就是不大喜欢看电子书,小论文也喜欢打印出来研读,图书就更不用说了,总是喜欢买书和藏书,尤其是经典图书。时间一久,书架上堆积满了琳琅满目的各种图书,心中突然有种莫名的满足感。闲暇之余,对杂乱无章的书架搞了一下整理工作,顺便...

2012-02-26 14:39:37 20662 59

原创 分布式文件系统测试方法与测试工具

非结构化数据、大数据、云存储已经毫无争议地成为了信息技术发展趋势和热点,分布式文件系统作为核心基础被推到了浪潮之巅,广泛被工业界和学术界热推。现代分布式文件系统普遍具有高性能、高扩展、高可用、高效能、易使用、易管理等特点,架构设计的复杂性使得系统测试也非常复杂。从商业产品ISILON, IBRIX...

2012-02-07 21:55:34 20606 40

提示
确定要删除当前文章?
取消 删除