分布式存储
文章平均质量分 79
刘爱贵
中科院博士,TaoCloud首席科学家,专注软件定义存储,聚焦智能存储、分布式全闪存、信创存储方向。GlusterFS技术专家,长期从事存储领域研发工作,分布式存储资深理论研究与实践者。
展开
-
全闪SDS三节点EC(4+2:1)性能挑战测试
三节点集群,用EC(4+2:1),性能目标是:4KB随机读写7:3,达到100万IOPS,平均时延0.5ms,P99时延1ms。硬件配置:网络100G RoCE。每节点128GB DRAM,每节点6片nvme SSD。原创 2023-06-04 15:50:35 · 2172 阅读 · 0 评论 -
SMB2协议特性之oplock与lease(下)
SMB2协议涉及的内容还是比较多的,尤其是Windows系统本身是闭源的,想要去深入理解并实现SMB2协议,需要做的工作还很多很多,但尽管如此也要相信,“道阻且长,行则将至;行而不辍,未来可期”。转载 2023-02-04 23:28:08 · 555 阅读 · 0 评论 -
大话大道SDS存储
2003从中科院读研时进入分布式存储这一行当,没想一干就是20年,大道云行都八周年了。二十年来一直在想着存储这一件事情,总会有一些收获和感悟的。崭新的2023新年伊始,特别大话一下大道的那些存储产品。原创 2023-01-17 16:00:23 · 1761 阅读 · 0 评论 -
解析全闪对象存储
事实标准的对象存储源自AWS S3,基于HTTP/RESTful设计,原本就不是面向高性能应用场景。开源SDS对象存储,Ceph之外还有minio。时至今日,新应用新业务日新月异,SSD呈现全面普及应用的态势,高性能对象存储的需求日益凸显,特别是AI/HPC/HDPA场景。全闪存的对象存储需要变革,intel DAOS将对象存储推向高性能市场,是一个很好的参考。原创 2022-11-30 23:11:23 · 1140 阅读 · 0 评论 -
全闪SDS 2.0存储发展新趋势
新兴市场驱动、SSD成本不断降低、再有信创存储加持,全闪存储是市场发展必由之路,未来前景非常可期!原创 2022-11-02 14:49:40 · 1198 阅读 · 2 评论 -
全闪SDS 2.0小观察廿问
SDS软件定义存储已经成为市场主流,全闪SDS 2.0存储快速增长。一直在SDS一线战斗,经常会被客户、合作伙伴、同行、投资人问到种种问题,故整理出全闪SDS 2.0 廿问,希望能有些价值。原创 2022-06-12 15:27:07 · 1234 阅读 · 3 评论 -
iSCSI vs iSER vs NVMe-TCP vs NVMe-RDMA
iSCSIiSCSI(Internet Small Computer System Interface)是一种将流行的SCSI协议扩展到TCP/IP网络,从而创建了基于IP的存储局域网SAN的块存储协议,它也是大道云行FASS全闪软件定义存储内置支持的块存储协议之一。iSCSI具有非常坚实的基础:SCSI、TCP和IP,因此在过去20年内得到了极广泛的应用,现在很多操作系统以及Hypervisor都具有内置的支持。Linux Kernel 3.1版本在其内核态的Linux SCSI Target(一原创 2022-05-15 11:38:56 · 2331 阅读 · 0 评论 -
分布式存储市场和技术发展热点
SDS已经成为存储市场主流,全闪SDS 2.0正在加速发展即将成为存储市场主流。聚焦全闪SDS 2.0的高扩展、高性能、低成本/高效率,EB级超大规模、NVMeoF全闪存、DPU、AIOps等,将是分布式存储技术发展热点。原创 2022-02-22 18:28:28 · 1040 阅读 · 0 评论 -
全闪SDS之数据库加速解决方案
方案背景背景概述随着互联网和电子商务的迅猛发展,传统的大型结构化数据库系统在企业应用中承载着越来越多的应用,重载情况越来越突出,担当着企业业务和信息系统核心的重任。但是,本来是为了传统业务的开展而设计出来的数据库系统,已经越来越多的受到超大规模数据量和高强度瞬时并发访问的折磨和考验。无论是企业的传统应用,还是新兴业务,随着数据量和业务量的不断高速增长,数据库系统的执行效率越来越低,数据库检索、读写时延等性能越来越低已经越来越成为制约整个系统性能和效率提升的瓶颈。提升核心数据库存储平原创 2021-10-27 22:43:28 · 1573 阅读 · 0 评论 -
全闪分布式,如何深度性能POC?
全闪存储已经成为当前存储的新贵,从存储架构的演变角度,软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。采用分布式架构的全闪存储系统能充分发挥闪存介质的性能,并构建具备云属性的弹性基础设施,是未来全闪存储系统的发展方向。FASS是TaoCloud自研的全闪分布式块存储系统,产品正式发布以来进行了大量多种场景的POC测试,这里将对典型场景的POC测试进行多角度对比分析,用数据验证FASS在不同硬件配置环境下的优异性能表现。POC性能测试拓扑模型典型场景POC实测对比..原创 2020-12-25 13:19:28 · 1410 阅读 · 2 评论 -
全闪分布式块存储性能实测1000万IOPS!
Ceph性能数据来源:Redhat对Ceph 使用三星PM1725A进行的性能测试报告(查看性能测试视频)性能测试说明测试数据(简表)测试方法本次测试采用四台服务器作为存储节点搭建FASS,创建16个100GB双副本存储卷进行测试8客户端压力读写,每个客户端读写2个存储卷,使用Intel SPDK自带的perf工具进行性能测试perf工具命令样例:网络环境前端和后端网采用100Gbps IB网交换机,管理网采用10Gbps以太网交换机。前...原创 2020-11-29 10:36:40 · 3104 阅读 · 10 评论 -
突破硬件瓶颈(三):旧时代的遗珠——并行流水线架构
20年前,CPU的主流设计是流水线架构,增长流水线层级就可以提升性能。然而AMD的K8架构证明intel的发展方向是偏激的,它用更低的功耗和频率,战胜了使用31级流水线的Pentium 4 Intel被迫解散了NetBurst小组,承认了其失败,转而发展Core 2系列,借鉴了AMD将IMC加入CPU DIE的设计,大大加快内存的处理速度,解放了CPU性能。紧接着又转向了多核心处理器的研发,从单条流水线转向了并行流水线,打的AMD毫无还手之力。 十多年过去,截止目前的主流CP...原创 2020-10-07 13:38:48 · 1882 阅读 · 1 评论 -
浅谈分布式全闪存储自动化测试平台设计
摘要本文简单介绍了分布式全闪的基本架构,根据对存储架构的理解和软件自动化测试系统理论的研究,指出软件自动化系统需涉及的主要方面,为软件自动化测试系统实现奠定基础。根据软件测试需求(功能、可靠性、性能),列出自动化系统的各个模块,逐步细化、设计,实现能与测试流程融合的自动化测试框架。在此基础上,还提出了未来自动化测试系统后续的优化方向,让大家意识到软件自动化测试的合理应用是软件开发过程中降本增效的关键。引言·分布式存储是具有独特系统架构的数据存储技术,它可以聚合复数主流的服务器来完成单个节点无法完原创 2020-10-07 13:33:49 · 1531 阅读 · 0 评论 -
Gluster集群管理小分析
开源分布式文件系统GlusterFS的集群管理系统GlusterD设计复杂,然而剖析其内部原理的参考文献极少,如果不熟悉源码,遇到问题解决难度比较大。本文的小目标是对GlusterD进行架构设计及代码层面的简析,深入了解GlusterD机制,从而帮助技术人员提高定位和解决问题的效率。1 GlusterD架构设计GlusterD作为GlusterFS的集群管理系统,其主要负责GlusterFS的集群信息管理,弹性卷管理,保证集群配置一致性,命令行操作,服务进程管理等。GlusterD部署于每一个存原创 2020-09-06 09:25:16 · 1542 阅读 · 0 评论 -
xSAN高可用—Gluster与SAN融合技术方案
在存储领域中,存储系统的高可用性一直是关注的重点。随着用户对于存储系统的可用性需求不断变化,高可用技术在不断发展演变。高可用的方案与技术,可分为如下三种:磁盘级的高可用这是指部分磁盘的损坏不影响集群的可用性。常用的实现方法有:RAID、SAN磁盘阵列。服务器级的高可用这是指单台服务器的失效,不影响整个系统的可用性。常用的实现方法为:双机热备;软件层面实现的数据副本(比如SDS中的多副本冗余策略)。共享级的高可用集群存储,通常都是通过共享协议的方式将其存储提供给用户,例如SMB、N原创 2020-08-20 16:01:07 · 995 阅读 · 0 评论 -
裸金属云FASS高性能弹性块存储解决方案
相对于公有云模式,裸金属服务器为用户提供物理服务器的租赁服务,延续了物理机无损性能这一得天独厚的优势,能够同时满足核心应用场景对高性能及稳定性的严格要求。使用裸金属服务器客户资源独占,不用和其他客户共享CPU、内存等,性能可以得到充分挖掘。因为采用物理机级别的完全隔离,可提供更安全、可靠计算资源。裸金属服务器可实现不差于物理服务器的性能,同时可以实现资源的弹性扩展与使用,全自动化的运维管理,越来越受到金融证券、HPC等对业务性能、数据安全要求较高用户的欢迎。需求痛点裸金属云可以实现弹性和自动化.原创 2020-07-26 14:51:08 · 846 阅读 · 0 评论 -
突破硬件瓶颈(二):存储架构和协议瓶颈
The kernel isn’t the solution. The kernel is the problem. ——Robert Graham CEO of Errata SecurityLinux系统设计之初,采用了分级、分层设计方式,用户调用底层设备,需要切换到内核态,由系统进行调用,这种方式适合硬盘速度远低于CPU的场景。然而随着存储速度越来越快,以及网络存储的兴起,这种设计逐渐成为了存储的瓶颈。另外,本地硬盘协议,以及网络协议,也都成为了提高性能的绊脚石。本文是突破硬件瓶...原创 2020-06-21 10:45:37 · 1052 阅读 · 0 评论 -
突破硬件瓶颈(一):Intel体系架构的发展与瓶颈挖掘
软件定义存储SDS正在从容量型向性能型演进,千万级IOPS和微秒级低延迟,非常具有挑战性。3节点标准x86服务器,能否有可能实现1000万IOPS与200us低延迟?这个可以有。硬件性能并不是瓶颈所在,软件颠覆才是关键。想要取得如此强的性能,必须要有突破时下存储软件对于硬件利用的瓶颈。而要突破这些瓶颈,就需要对硬件有深入的了解,而后利用软件想方设法突破,或者绕过他们,实现性能的腾飞。本文是突破硬件瓶颈系列文章的第一篇,分析Intel体系架构带来的瓶颈。存储的性能越高,则对延迟越敏感,当.原创 2020-06-21 10:40:17 · 1412 阅读 · 0 评论 -
SDS发展小观察
1、SDS科普SDS(Software Defined Storage)即软件定义存储,简单地说就是将存储硬件和软件进行分离,采用标准化硬件作为载体(如X86架构),基于软件实现企业级存储功能和服务。相对于传统存储硬件盒子,SDS中存储软件成为了核心。SDS通常都是分布式存储,形式分为文件存储(POSIX/NFS/CIFS)、对象存储(S3)和块存储(iSCSI/iSER/NVMeoF)三种。SDS的兴起源于硬件的快速发展,CPU、网络、SSD等硬件成熟度、稳定性、性能不断提升,同时云计算对存储原创 2020-05-18 09:00:01 · 1950 阅读 · 1 评论 -
FASS全闪高性能文件网关解决方案
移动互联网、人工智能、5G、IoT等技术的发展,海量的终端催生了越来越高的业务性能需求,越来越多的文件业务场景要求被“加速”,以提供快速响应和高带宽访问。HDD存储设备已无法满足高IOPS、低延迟的业务需求,越来越多的企业数据中心开始选择全闪存的解决方案。据Gartner预计,到2020年数据中心50%的机械硬盘存储将被全闪存存储取代,应用于新数据时代的诸多业务场景。01 方案背景海...原创 2020-04-19 08:57:34 · 1540 阅读 · 0 评论 -
【译】利用uDepot获得快速NVM存储的性能
小Tao们在进行分布式全闪存文件系统的预研工作,从学术圈和工业界寻找灵感,发现这篇前沿文章,并翻译出来和大家学习分享。 “这是一篇KV存储技术方向中少见的讲述如何即高效又经济地使用快速闪存设备的文章,观点新颖,方法独特,参考和使用价值很高。” ——译者 摘要许多应用程序需要低延迟的KV存储,为了满足这一需求,通常使用基于DRAM后端的KV存储。然而,与传统的SSD相比,最...原创 2020-03-01 10:52:16 · 2129 阅读 · 3 评论 -
FASS分布式全闪存储技术白皮书
当前单块NVMe SSD性能可以达到100万IOPS,SSD硬盘与HDD机械硬盘有了天壤之别。传统存储的软硬件架构,都已经不再适合承载高速闪存介质,它们从根本上制约了新型存储介质的生产力。全闪存阵列已经逐步向全NVMe硬件转移,然而其扩展性与灵活性,在云计算时代始终是最大的瓶颈。分布式全闪存储系统在全闪存介质配置的基础上,采用了标准的硬件平台、高效的新兴存储协议、极致的软件优化,可提供更简单经济、...原创 2019-12-17 14:26:18 · 5615 阅读 · 4 评论 -
GlusterFS原创资源
GlusterFS分布式文件系统原创资源合集,持续更新补充,方便自己和广大同学查阅。[1] GlusterFS集群文件系统研究[2] 基于开源软件构建高性能集群NAS系统[3]创建Glusterfs分布式RAID10卷[4] 设计新Xlator扩展GlusterFS [5] Glusterfs全局统一命名空间 [6] Glusterfs Rebalance简析 [7]...原创 2013-12-15 09:41:54 · 20457 阅读 · 35 评论 -
GlusterFS性能优化-让目录飞
根据IDC预测2020年全球数据量将达到44ZB,其中80%来自于非结构化数据的贡献。随着云计算、大数据、物联网、AI、5G等技术的发展应用,可快速扩展的基础架构成为必需,这些需求推动了软件定义存储(SDS)的增长。2018年中国软件定义存储市场需求场景中,文件存储仍然是主力,占比高达62.3%。在诸多分布式文件系统中,GlusterFS以其简约的架构设计,完善的协议支持,无中心节点、全局统...原创 2019-12-08 15:15:41 · 4617 阅读 · 0 评论 -
GlusterFS文件系统弹性哈希算法
GlusterFS采用独特的无中心对称式架构,无需专用的元数据服务集群,使用DHT算法进行文件分布和定位。本文深入剖析GlusterFS文件系统弹性哈希算法。原创 2017-04-18 00:45:00 · 7869 阅读 · 5 评论 -
SSAN之VAAI特性功能实现剖析
SSAN支持VAAI存储特性功能。VAAI是vSphere专门为存储提供的加速接口,可以降低主机资源压力和网络资源要求,提高I/O并发能力和性能。原创 2017-04-27 22:28:59 · 11025 阅读 · 0 评论 -
GlusterFS企业级功能之EC纠删码
纠删码是GlusterFS提供的一种企业级数据高可用功能,它能够在提供高可用的同时保证很高的存储利用率,但也会消耗一定的CPU计算资源。原创 2017-09-01 19:23:44 · 8002 阅读 · 0 评论 -
深入理解GlusterFS之POSIX接口
剖析GlusterFS基于FUSE的POSIX文件系统接口的实现机制和工作原理,给出提升大I/O带宽性能的具体方法,并提出FUSE进一步的优化思路。原创 2017-09-01 19:34:31 · 12882 阅读 · 0 评论 -
GlusterFS场景优化之文件预分配
TaoCloud团队原创:http://www.taocloudx.com/index.php?a=shows&catid=4&id=113随着新技术的持续发展,全球数据量将继续高速增长,据分析机构预测,中国数据量增长最为迅速,预计到2025年将增加到48.6ZB。其中视频监控是数据增长的重要推动因素之一,为了支持大规模的视频监控与分析,对于存储系统来说,提出了新的要求和挑战。...原创 2019-06-21 15:10:48 · 2205 阅读 · 3 评论 -
GlusterFS元数据机制分析
TaoCloud团队原创:微信公众号文章访问 GlusterFS作为一个免费开源的分布式文件系统,以其简约的架构设计,完善的协议支持,无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点,拥有着旺盛的生命力,在工业界受到极大的欢迎和使用。就像所有的事情一样,都不可能是尽善尽美的,所以GlusterFS也存在不足的地方:因为其无中心的架构设计,在支持无限扩展,无单点故障...原创 2019-08-25 10:19:49 · 3899 阅读 · 1 评论 -
开源对象存储MinIO技术白皮书
MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO,Harshavardhana曾经是GlusterFS的开发人员,直到2011年红帽收购了Gluster公司。MinIO在设计上汲取了GlusterFS的相关经验与教训,系统复杂度上作了大量简化。一、Min...原创 2019-09-27 13:49:38 · 26715 阅读 · 10 评论 -
SSAN高可用双机技术
通常情况下SSAN分布式块存储集群建议3个节点起配,然而一些客户出于应用规模和降低成本考虑,尤其是SMB中小企业客户,两个节点的SSAN高可用集群方案是否可行呢?这个是必须行的。SSAN高可用双机技术方案,采用双副本冗余策略,iSCSI多路径采用两条路径,这里主要讨论管理节点高可用和zookeeper集群高可用方案,同时简要介绍基于Ansible的SSAN集群自动化部署。原创 2016-10-25 22:14:09 · 7102 阅读 · 0 评论