联手英特尔，释放星飞分布式全闪存储潜能

于 2024-01-11 09:54:06 发布
阅读量611 收藏 7
点赞数 9
文章标签： 云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XSKY_/article/details/135519544
版权
36a8bac7bf230594440488f67d613d31.jpeg

近日，英特尔官网发布了与 XSKY 星辰天合联手打造的解决方案，即 XSKY 的新一代全闪分布式存储系统 XINFINI，该存储系统采用英特尔 QAT 加速数据压缩/解压缩，从而大幅度提升存储系统性能。


全闪存储系统面临的解压缩挑战


在存储系统的数据服务层中，通常需要进行一定的压缩/解压缩操作。在全闪存储系统中，由于存储读写性能较高，压缩和解压缩操作可能会对存储系统带来巨大的挑战：



01

在传统方案中，存储系统中的压缩和解压缩操作主要通过 CPU 来实现，这会消耗大量的 CPU 资源，可能导致 CPU 的占用率显著提升，抢占其他业务的 CPU 资源，影响存储系统的整体性能表现；


02

在全闪系统中，压缩和解压缩操作的效率将会对读写时延，尤其是 P99 时延带来较大影响；


03

要在全闪存储中支持数据服务层的高效解压缩，需要加大硬件资源的投入，如部署更高性能的 CPU，增加 CPU 数量等，这无疑会推高存储系统的成本压力。


星飞全闪 借助 QAT 提高压缩效率


在混闪存储系统中，由于单存储节点的读写吞吐和 IOPS 规模不大，所以压缩和解压缩操作对客户端读写时延影响不大。但在全闪存储系统中，单存储节点的读写吞吐可达到 10GB/S，IOPS 规模可以达到数百万以上，这意味着如果以传统方式来处理压缩和解压缩操作，会导致较高的 CPU 资源占用，对存储系统的整体性能带来巨大的挑战。

英特尔 QAT 是英特尔面向高性能安全性、私钥保护和压缩/解压缩等场景推出的一个硬件加速技术，能够将相关负载从 CPU 卸载到 QAT 中，有效提升应用程序和平台的性能。英特尔 QAT 能够以硬件方式为高效的压缩算法进行数据压缩，在不额外增加 CPU 负载的前提下，提高数据压缩效率，缩短端到端备份用时。

在最近发布的中，星辰天合采用了英特尔开发的硬件方案，利用第四代英特尔至强可扩展处理器中集成的英特尔 QAT 加速器来执行压缩/解压缩计算，从而提升了压缩/解压缩性能，降低了高吞吐环境下的读写时延，也减少了存储软件栈中各进程的资源争用以及相互间的影响。

对比测试表明 QAT 为 XINFINI 带来显著提升


经过测试表明，通过英特尔 QAT 卸载存储系统的压缩/解压缩操作之后，星辰天合新一代全闪分布式存储系统 XINFINI 实现了以下提升：

01

在数据压缩率在 3:1 的情况下，英特尔 QAT 硬压缩能够增加 3 倍的有效存储可用空间，显著降低客户的整体 TCO； ef65e915a087ad2456640879f365512b.jpeg

无压缩/英特尔 QAT 压缩后的有效存储空间比较

02

数据被压缩后能够减少实际 SSD 硬盘读写，从而延长 NVMe SSD 的寿命；

03

相比于 CPU 软压缩，英特尔 QAT 硬压缩能够提高 78%～114% 的写 IOPS 性能，这可以有效降低系统的CPU 配置要求，进而降低硬件 TCO；

0843d08632718e07794166fc6df2d7fa.jpeg

无压缩/英特尔 QAT 压缩的写性能比较

b97169567decd9be6895cbfad5f26a73.jpeg

CPU 软压缩/英特尔 QAT 压缩的写性能比较

04

相比于 CPU 软压缩，英特尔 QAT 硬压缩的 P99 写时延更低，可有效确保存储系统的性能服务质量。 ec20948914ae08e45f61d7d8036fd9ad.jpeg

无压缩/英特尔 QAT 压缩的写性能比较


星辰天合全闪分布式存储系统 XINFINI ，利用英特尔 QAT 在加速压缩/解压缩负载的能力，显著提升了存储性能。未来，星辰天合还将与英特尔围绕当前及未来的英特尔至强可扩展处理器进行进一步探索，并通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力，支撑企业从数据中获得更多、更富价值的洞察。


b07aa87ac3ce5e97e86b3c1be5c9dcb0.jpeg
XSKY星辰天合
关注
  • 9
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
XSKY SDS 6.4 重磅更新：NFS 性能飙升 3 倍，对象多站点等 10 多项功能强势升级
05-08 490
该版本在文件的性能提升、对象容灾能力完善方面改进异常显著，同时也大幅提高了存储系统的安全特性，适配更多的信创软硬件生态近来，软件定义存储（SDS）在各行各业的应用越发深入，在企业存储中的占比持续提升。根据 IDC 的数据，从 2022 年到 2023 年度，SDS 在企业存储的市场份额从 25.6%增长到 28.1%，增长了 2.5 个百分点，而传统企业存储系统（ESS）则下降了近 3 个百分点。更多的用户在更多的场景中，选择了 SDS，这也对 SDS 带来了很多新的需求。同。
博客
先进制造业数字化转型，为什么基于传统存储无法完成？
05-07 273
这些不同的存储产品，对运维人员的技能也是巨大的考验。相关数据从生产机台产生之后，存储在与生产机台对应的本地盘上，数据无法汇聚、也不互通，因此在进行相关质检调阅的时候，只能由技术人员根据记忆，在每个生产机台对应的本地盘上去查询，非常费事费力，无法满足企业对于数字化转型的需求。在 XSKY 与客户的沟通调研中可以发现，传统的存储架构，无论是本地存储方案还是传统 NAS/中转服务器的存储方案，都已经无法满足先进制造企业的海量存储和秒级查询的新需求，更不要说其他的更多的管理需求。因此，从如上分析可知。
博客
助力企业部署国产云原生数据库 XSKY星辰天合与云猿生完成产品互兼容认证
04-29 957
近日，北京星辰天合科技股份有限公司（简称：XSKY 星辰天合）与杭州云猿生数据有限公司（简称“云猿生”）完成了产品互兼容认证，星辰天合企业级分布式统一数据平台 XEDP 与云猿生的开源数据库管控平台 KubeBlocks 产品可以互相完全兼容，可以。，在满足海量数据的高并发备份诉求的同时，可最大程度地提升数据备份的整体效率，有效地构建从数据库应用到数据备份的全链路方案。KubeBlocks 是云猿生数据推出的开源数据库管控平台，是基于 Kubernetes 的云原生数据基础设施，能够。
博客
以更多架构核心专利，推进 SDS 产业创新创造
04-26 380
通过实时监控，当盘发生故障时，对于写入请求，处理单元向总处理单元申请新的存储盘完成写入，对于读取请求，处理单元可以选择其他副本存储盘进行读取。分布式存储过去一直采用 Shared-Nothing 架构，但是随着高速网络和 NVMe SSD 的普及，由于分布式事务和一致性协商需要各个节点进行通信协作，而 Shared-Nothing 架构中各个节点相互独立，集群中各组件的信息共享与互通受到阻碍，也因此带来了性能瓶颈、服务质量不稳定、资源浪费、扩展性受限等突出问题。
博客
服务于金融新核心系统 星辰天合与中电金信完成产品兼容认证
04-25 364
杭州银行新一代核心业务系统的成功上线，以实践验证了中国电子金融级数字底座“源启”支撑分布式核心业务系统建设和投产运行的能力，充分展现了中电金信规模化、批量化实施新一代技术架构、全栈国产化核心业务系统的实力。源启可支持金融机构核心应用实现高速响应、秒级扩容以及多地多活，并切实保障银行核心系统的账务一致性和系统安全稳定，同时通过企业架构业务建模和云原生微服务模式，还可实现业务能力和IT架构的高效对应，并带来强大的灵活性、组装性和扩展性，从而有力支撑金融机构建设灵活应变的新一代核心业务系统。
博客
SSD 价格已经翻番，您还继续选择全闪么？
04-18 218
星飞 9000，采用 XSEA 星海极速全共享架构（XSEA），采用单层介质，无需昂贵的 DWPD=3 的 Cache 盘，并且支持 EC+压缩，压缩还支持硬件压缩（如 Intel QAT），在保障性能的同时，整体的硬盘利用率是三副本的 300%，大大降低用户的 SSD 采购成本。由于 AI 和信创的推动，国内的分布式全闪需求激增。纵观目前国内市场的分布式全闪和超融合产品，我们发现，90%的产品还在采用传统的 3 副本的数据冗余方式，造成全闪的采购成本居高不下，特别在 SSD 价格大幅上涨趋势下更是如此。
博客
2023 中国 SDS 年度报告发布：XSKY 蝉联对象存储软件第一，整体 TOP5
04-17 274
在新的一年，XSKY 将继续以客户为中心，在存储引擎架构领域持续进行创新与变革，引领中国软件定义存储产业的发展，从而帮助客户更好地发掘数据价值，充分实现数据要素乘数效应，推动数字中国的建设。作为领先的专业软件定义存储企业，XSKY 坚持以架构创新引领软件定义存储行业的发展，产品和服务已经获得了 2500 余家大型政企机构的大规模商业化部署，SDS 和 HCI 也继续蚕食传统存储的市场份额，传统存储的市场份额已经从 2022 年的 53%下降到 2023 年的 50.3%。并获得了更多行业新客户的认可。
博客
星辰天合获得高新技术企业创新能力 5A 级评价
04-16 226
该标准从企业基础情况、知识产权、持续创新能力、创新管理等四个维度共二十七个指标对高新技术企业创新能力进行量化评价，旨在为高新技术企业提供一个客观、公正、科学的创新能力评价体系，帮助企业发现创新优势和不足，提升创新水平和效率，增强市场信任和社会认可，为政府采信和监督管理提供依据。此次高新技术企业创新能力评价由中关村高企协牵头，组织多家机构共同制定，为国内首个《高新技术企业创新能力评价》团体标准。通过评价工作，可以构建推动企业高质量发展的标准体系，提高企业创新意识，营造良好市场环境，树立高新技术企业标杆。
博客
升级多款教育行业解决方案 星辰天合推动高校高质量发展
04-16 288
星辰天合的产品通过智能的分布式架构，实现了数据的自动均衡和容错处理，有效提高了数据中心的可靠性和稳定性，能够全面兼容业界主流的 VMware、OpenStack、KVM 校园云虚拟化平台，能够为教学课件、精品录播、图书馆及科研数据提供稳定的数据中转与保存平台，能够为大数据、高性能计算、AI 分析等需求场景提供高性能的统一数据平台。同时，星辰天合还提供了全面的资源管理平台和丰富的第三方接口，能够帮助高校实现分布式架构下异地/跨校区的数据底层汇聚、迁移、复制和双活容灾等解决方案，极大地提升了数据管理的效率。
博客
分布式全闪占比剧增 152%，2023 年企业存储市场报告发布
04-01 1203
XSKY 也会不忘初心，继续聚焦 SDS，采用创新的架构，如 XSpeed 混闪架构和 XSEA 全闪架构，给我们的客户带来全新的 SDS 使用体验，并作为关键数据基础设施，支撑分布式数据库负载和最新的 GenAI 负载，帮助企业进行数字化转型。从地域上看，美国在 2023 年仍占据近 37.4% 的市场份额，中国的市场下滑幅度比全球小，因此全球市场份额已增至 20.8%，成为全球第二大存储产品供应和销售市场，这主要得益于一系列本地供应商的强劲表现。剧增到 2023 年的 17.7%，增长了 152%
博客
XSKY 智能数据管理，让半导体行业生产数据“活”起来
03-29 324
该工具实现了多源数据接入存储系统，提供了统一的数据视图及数据检索、操作能力，更贴合业务场景，可以轻松克服多种数据操作需求带来的“多套产品、开发周期久、管理复杂”等阻力，打通了数据的“汇-存-算-管-用”全生命周期流程。在这个过程中，半导体企业会产生海量的数据以及随之而来的多样化、智能化的存储及管理需求。之后，该公司能够实现包括按账号动态打图片水印、QoS 控制、跨桶查询、监控告警等多种功能，极大地简化了该公司的生产数据的管理，从而能够更好的挖掘机台数据的价值，帮助公司提升产品的良率。
博客
GTC 2024 火线评论：DPU 重构文件存储访问
03-26 890
在多样化的 GPU 存储类型的利用上，不管是块存储的 NVMe 卷作为节点内的高速缓存，还是共享文件存储作为 CPU/GPU 内存的全局缓存存储，最终通过基于对象存储的数据湖来统一治理，这些存储类型的需求和定位都跟 XSKY 的产品定位和路线图高度符合。对于国内领先的分布式存储厂商来说，我们同样认为，不仅是 Nvidia BlueField 系列产品可以提供这样的方式，这样的需求应该可以在普遍的 DPU 产品中实现并被利用，有效的提高 DPU 在存储协议上的多样化支持，并带来共享文件存储的安全性所需。
博客
GTC 2024 火线评论：GPU 的高效存储利用
03-22 676
在 Nvidia CUDA 生态中，已有 NVSHMEM（如下图所示）实现了 GPU 之间的内存数据通信，屏蔽了 NVLink/PCI/Infiniband/RoCE/Slingshot/EFA 的具体传输实现，极大帮助了 GPU 集群协同计算的效率，而在存储方面仍旧没有对应的 API 和实现，使得 GPU 总要面对十分具体的存储传输和协同。这种策略使得系统能够在有限的 GPU 内存中存储最频繁访问的数据，同时直接从 SSD 加载其他数据，从而扩展了数据处理的能力，超出了物理内存的限制。
博客
XSKY 智能存储，助力“数据要素 X”先进制造
03-22 1108
针对先进制造行业，XSKY 输出了全业务场景解决方案，聚焦半导体、PCB、光伏、风电、锂电池、液晶面板、生物制药、汽车制造等制造行业，同时聚焦生产管理、设计研发、品质管理、运营分析等业务场景，针对这些业务场景，XSKY 提供统一的数据管理平台统一支撑，通过块存储、文件存储及对象存储不同存储接口，来支持上层 OA、ERP、MES 等结构化数据需求，及设计仿真、工业质检等非结构化数据的业务需求。，来高效实现数据的流动、汇聚和安全，这就对企业的现有数据基础设施和数据存储系统提出了更高的要求。
博客
【无标题】
03-18 330
近日，主题为“因聚而生，数智有为”的“华为中国合作伙伴大会 2024”在深圳召开，XSKY星辰天合受邀参加此次大会，与华为以及其他华为合作伙伴共同启动鲲鹏原生应用开发合作，并由于在鲲鹏生态中的深入研发与卓越表现，获得大会颁发的“鲲鹏突出贡献奖”。
博客
替代 VMware ，为什么需要重新考虑您的存储？
03-14 856
XEBS-XINFINI 星飞极速版，采用创新的星海极速全共享架构，可以实现 100ms 的故障切换时间，100% 以上的得盘率，并且支持 100us 的超低时延，可以更好地满足分布式核心系统和 GenAI 新负载的要求。而针对新的全闪形态，采用端到端 NVMe 对接云平台，可以实现更低的时延，更高的性能。但在国内市场，由于 vSAN 的占用率不高，很多场景可能是存算分离部署的，如果全部用 HCI 形态来替换现有的 VMware 产品，对用户的管理挑战和网络改造都很大，未必是最合适的方案。
博客
星辰天合参与编制 国内首个可兼顾 AI 大模型训练的高性能计算存储标准正式发布
03-07 405
随着该《高性能计算分布式存储系统技术要求》团体标准的发布，星辰天合将会与业界同仁一起，继续以创新的架构和产品方案，持续提升分布式存储的性能，推动产业规模的健康发展，并进一步提高整个高性能计算领域的技术水平和服务质量。此次该《高性能计算分布式存储系统技术要求》团体标准的发布，所确定的“技术要求”无疑是对高性能计算与 AI 大模型训练的发展应用的“神助攻”。在此团体标准的编撰过程中，星辰天合充分发挥了在分布式存储领域的深厚技术积累以及丰富的实践经验，为该标准的最终发布起到了重要的推动作用。
博客
XSKY星辰天合入选 2023 北京市数字经济标杆企业
03-05 385
星辰天合成立 9 年以来，始终坚持以“创新架构”塑造软件定义存储新体验，产品在存储架构层、协议层、功能和对接应用生态都在不断进步，从节点内缓存加速 XStore，到全局缓存池打不爆的缓存架构 XSpeed，到最新采用 Shared-Everything 架构的 XSEA（星海极速全共享架构），始终专注于存储引擎架构的创新与变革，以高效、高性能的存储方案推动政企客户的数据基础设施建设。建设全球数字经济标杆城市离不开标杆企业的支撑，标杆企业是数字经济标杆城市建设的主力军，也是标杆城市建设水平的重要标志。
博客
【精彩回顾】数据洞见，让生产数据“活”起来
02-02 400
XSKY EasyData 易据管理平台是独立的一款数据管理产品，数据标签功能也是在该平台实现及统一管理的，不管后端是文件存储还是对象存储，对业务端不感知，所以可以对文件或对象数据统一打标签，统一标签管理，统一标签多维快速检索。2、支持，我们提供人机料法环测等分析所需数据的数据整合，在线除了使用 DMS 进行现况解析，缺陷来源分析之外，还能透过 YMS 系统串接缺陷与其他相关数据源进行相关性分析，异常分析，自动化报告等。存储内部的冷热数据分层流动，会按相应的规则触发对应数据集合进行不同介质存储池间的流动；
博客
IDC 23Q3 数据发布 XSKY 对象存储软件市场份额继续蝉联第一
01-18 445
在金融领域，XEOS 继续帮助客户完成影像等非结构化数据的集中管理与容灾建设，如 太平洋保险、大地财险、浙商银行、湖北银行、贵州省农信、湖北省农信、国泰君安证券、中金公司、汇添富基金、中信期货、东风金融等客户；2023 年前三季度，虽然中国企业存储系统市场略有下滑（-0.8%），但软件定义存储（SDS）依然逆势增长（+5.6%），体现其强大的生命力。长鑫存储、中芯集成、华润微电子、宁德时代、阿特斯、深南电路、维信电子、信维通信、瑞浦兰钧、理想汽车、赛力斯等先进制造企业。移方案，完成总计超百亿对象迁移。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值