- 博客(106)
- 收藏
- 关注
RSS订阅原创 基于DPU&SmartNic的云原生SDN解决方案
为了解决传统SDN方案的问题，中科驭数提出了基于DPU/SmartNic的云原生SDN解决方案，驭云SDN将DPU/SmartNic卡进行统一管理将其，支持的网卡如PF/VF/SF/VFIO/VDPA等通过device-plugin发布给Kubernetes进行统一的管理和调度。
2024-07-22 11:47:02
740
原创 中科驭数HADOS 3.0：以四大架构革新，全面拥抱敏捷开发理念，引领DPU应用生态
一家成功的大算力芯片公司，其核心壁垒必须是软硬兼备的，既要有芯片架构的强大技术壁垒，更要有持久投入的、生态兼容完备的软件护城河。HADOS，就是中科驭数的软件护城河。
2024-07-09 14:17:01
850
原创 基于DPU的云原生计算资源共池管理解决方案
为了解决上述问题，我们提出了基于DPU的云原生计算资源共池管理解决方案，结合了DPU的硬件优势与Kubernetes的能力和插件生态，在Kubernetes架构下实现了虚拟机、裸金属和容器资源的无缝整合与统一管理，可以实现当某一类资源池（如虚拟机资源池）面临资源紧张时，系统能够自动从共享资源池中调用资源，实现Worker节点的快速扩容，而当资源需求下降时，又能够智能缩容，将多余Worker节点回收至共享池中，确保资源的按需分配与适时释放。资源池的独立管理导致了资源利用率的显著下降。
2024-07-08 19:42:45
1326
原创 Spark基于DPU的Native引擎算子卸载方案
随着SSD和万兆网卡普及以及I/O技术的提升，Spark用户的数据负载计算能力逐渐受到CPU性能瓶颈的约束。由于Spark本身基于JVM的Task计算模型的CPU指令优化，要远远逊色于其他的Native语言（C++等），再加上开源社区的Native引擎已经发展得比较成熟，具备优秀的量化执行能力，这就使得那些现有的Spark用户，如果想要获得这些高性能计算能力就需要付出大量的迁移和运维成本。Gluten解决了这一关键性问题，让Spark用户无需迁移，就能享受这些成熟的Native引擎带来的性能优势。
2024-06-28 17:09:36
986
原创 基于DPU的Ceph存储解决方案
本方案采用云原生架构，引入DPU作为Kubernetes集群的Node，为集群之上的容器、虚机和裸金属实例提供存储服务的卸载和加速。整体架构如下所示：Master Node上，部署csi的控制器csi-controller，用于创建volume和NVMe-oF target；Host Node上，部署csi-node-host，配合csi-node-dpu，通过volumeattachment发现DPU挂载的NVMe盘，然后执行绑定或者格式化；裸机场景没有这个组件；
2024-06-28 16:29:16
663
原创 中科驭数CEO鄢贵海：从计算系统的三个视角重新审视DPU的核心价值
在信息技术日新月异的浪潮中，DPU正逐渐崭露头角。当前，DPU发展的核心驱动力来自于什么？DPU技术是否已经足够成熟到广泛应用？市场上头部玩家参与到这一创新技术的市场角逐之中？在算力时代，DPU应该如何找准价值定位？而中科驭数作为国内DPU先行者，又将如何解题，引领DPU行业进入到一个全新的高度？6月19日，在中科驭数2024产品发布会上，中科驭数CEO鄢贵海发表了《重新定义DPU》主题演讲，为我们深入探索DPU发展问题打开了一扇窗口，让我们带着这些问题，一起走进鄢老师的演讲实录。以下为演讲文字
2024-06-28 14:27:21
675
原创 基于DPU的云原生裸金属网络解决方案
本方案基于DPU的网络能力，采用开源 Kubernetes 底座架构，以OVN/OVS做为网络转发面，整体架构如下图所示：在集群架构中，裸金属服务器既可以单独使用，也可以作为Worker节点加入Kubernetes集群，部署Pod或虚拟机（VM）。无论是作为裸金属服务器，还是作为Worker节点，网络I/O均由DPU卸载，并通过OVN进行统一管理。在使用SmartNIC或普通网卡的Worker节点中，OVN的流表管理和下发逻辑保持不变，仅将网络I/O交由主机侧处理。
2024-06-21 18:48:37
1313
原创 芯片软件全上阵 DPU“全家桶”来了！中科驭数成功举办2024产品发布会
中科驭数应用研发部总经理陈岩介绍，驭云解决方案采用“IaaS on DPU”技术路线，依托于DPU的卸载能力，将云计算体系中的基础设施层面完全下沉，为集群提供网络转发、存储服务、安全防护、管理调度等能力，完成了整个云计算环境的构建与运转，将服务器侧的CPU与GPU算力全部预留给业务系统应用，为云计算提供高性能、高吞吐、高安全的算力底座。非常期待像驭数这样的创业公司，还有运营商、云计算等生态厂商，能够共同努力，把中国的数据中心和信息基础设施的技术和应用，做到世界领先的水平。
2024-06-20 00:05:06
770
原创 基于DPU的云原生裸金属服务快速部署及存储解决方案
为了解决传统裸金属服务方案的问题，中科驭数基于DPU开发了全新的云原生裸金属服务解决方案，整体架构图如下：在本方案中，DPU支持裸金属服务器的网络和存储资源虚拟化，使得物理服务器能够像虚拟机一样灵活配置，动态添加或删除网卡、硬盘等资源。这为裸金属服务器提供了类似云服务的弹性，同时保持了物理机级别的性能。另外，DPU能够管理远程存储资源，如云盘，使得裸金属服务器可以使用云存储服务，同时通过DPU加速存储I/O，提高读写性能，使得云盘接近本地存储的体验。
2024-06-14 11:25:46
1099
原创 “Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书（24版）DPU部分节选
在奇点云2024年版《OLAP数据库引擎选型白皮书》中，中科驭数联合奇点云针对Spark+Hive这类大数据计算场景下的主力引擎，测评DPU环境下对比CPU环境下的性能提升效果。特此节选该章节内容，与大家共享。
2024-05-30 16:10:52
867
原创 卢文岩博士受邀参与中国科学院大学校友论坛 解码DPU核心价值
目前，中科驭数基于自主研发的KPU架构，已成功研发三代DPU芯片，围绕DPU核心能力打造了低时延、高吞吐两大系列产品矩阵，构建低时延网络、云原生网络、智算中心网络三大解决方案。在大算力时代——AI技术前沿沙龙上，中科驭数高级副总裁、CTO卢文岩博士受邀分享《DPU——连接算力基础设施的“枢纽”》主题演讲，以其深厚的学术背景与丰富的行业经验，向与会嘉宾分享中科驭数DPU芯片如何成为链接和优化算力基础设施的关键组件。▲卢文岩博士受邀发表主题演讲。
2024-05-28 19:11:05
235
原创 中科驭数驭云、超低时延网络案例双双入选第七届数字中国建设峰会数字化转型典型应用案例
超低时延”网络方案实现了金融交易系统的卓越时延表现，在金融领域获得深度应用，为金融机构的数字化转型树立了新标杆。该方案基于SWIFT-2200N低时延DPU卡，在系统层实现了与主流CPU、操作系统无缝对接，而在应用层面，中科驭数与多家业内知名的金融软件厂商深度合作，确保其超低时延网络解决方案能够广泛适配交易系统，能够支撑金融交易核心链路从底层硬件到上层应用系统具备超低时延、低抖动、完全自主可控等特性，在超低时延网络领域真正打破垄断，助力金融核心交易业务实现系统升级替代。
2024-05-28 19:09:26
287
原创 中科驭数携DPU产业化成果亮相2024中关村论坛
中科驭数自研最新第三代DPU芯片K2 Pro，经过组委会全方位遴选，从40多个国家和地区3000余项新技术新产品中脱颖而出，成功入选《2024百项新技术新产品榜单》。
2024-04-28 16:55:51
641
原创 如何利用DPU加速Spark大数据处理？ | 总结篇
近年来，随着存储硬件的革新与网络技术的突飞猛进，如NVMe SSD和超高速网络接口的普及应用，I/O性能瓶颈已得到显著改善。然而，在2020年及以后的技术背景下，尽管SSD速度通过NVMe接口得到了大幅提升，并且网络传输速率也进入了新的高度，但CPU主频发展并未保持同等步调，3GHz左右的核心频率已成为常态。
2024-04-02 13:46:32
1109
原创 中科驭数DPU技术开放日秀“肌肉”：云原生网络、RDMA、安全加速、低延时网络等方案组团亮相
DPU技术开放日既是对DPU技术应用的典型方案展示，也是DPU技术在重要细分场景走向成熟的标志。
2024-04-01 11:59:42
1572
原创 明天线上见！DPU构建高性能云算力底座——DPU技术开放日最新议程公布！
DPU技术开放日DPU技术开放日是由中科驭数发起的DPU技术沙龙活动，旨在关注DPU最新技术发展和实践经验。借此平台，我们既有庖丁解牛式的DPU核心技术方案解析，也有着眼于算力系统的技术实现和最佳实践，深入探讨DPU在超低时延网络、云原生网络、智算中心网络等领域的应用，推动国内算力基础设施的技术探讨和发展。中科驭数DPU技术开放日热忱欢迎每一位技术开发者、以及对DPU感兴趣的伙伴们，与我们一起交流经验、分享见解!
2024-03-28 19:37:47
210
原创 Spark基于DPU Snappy压缩算法的异构加速方案
上图所示为Spark SQL的一个涉及FileScan、Shuffle、Aggregate、OrderBy计算的完整数据流转过程，Spark SQL的数据处理首先需要读取HDFS分布式文件存储系统中的Snappy压缩文件，然后会对Snappy压缩文件进行解压缩处理，从而得到计算所需的数据。对于系统整体而言，压缩解压缩计算的输入数据和输出数据，如果需要传输到CPU继续做计算，则有额外的PCIe数据传输的时间损耗，由于不同的数据量及压缩比带来的整体效果差别较大，所以以下测试数据仅供参考。
2024-03-25 17:08:23
1111
1
原创 RDMA技术在Apache Spark中的应用
在当今数据驱动的时代，Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统，Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无论是金融服务、电信、零售、医疗保健还是物联网，Spark的应用几乎遍及所有需要处理海量数据和复杂计算的领域。它的快速、易用和通用性，使得数据科学家和工程师能够轻松实现数据挖掘、数据分析、实时处理等任务。然而，在Spark的灿烂光环背后，一个核心的技术挑战一直困扰着用户和开发者 -- Shuffle过程中的网络瓶颈。
2024-02-28 14:38:16
1106
原创 基于DPU和HADOS-RACE加速Spark 3.x
通过把Spark的计算卸载到DPU加速器上，在用户原有代码无需变更的情况下，端到端的性能可以得到2-5倍的提升，某些算子能达到43倍性能提升，同时CPU资源使用率从60%左右下降到5%左右，显著提升了原生SparkSQL的执行效率。DPU展现了强大的计算能力，对于端到端的分析，会有一些除去算子之外的因素影响整体运行时间，包括磁盘IO，网络Shuffle以及调度的Overhead。这些影响因素将来可以逐步去做特定的优化，例如：1. 算子的Pipeline执行。
2024-02-23 18:52:18
1137
原创 申万宏源：证券低时延交易系统全链路自主可控创新实践 |论坛实录
作为证券机构代表及申万宏源低时延实验室的技术负责人，张宏在会上分享了申万宏源联合实验室在信创生态下的探索实践，以多组实验室业务系统测试结果详实地呈现了当前信创低时延基础设施架构演进成果和市场图谱。
2024-01-30 16:28:33
467
原创 国产低时延技术创新与实践分享 | 2024低时延技术创新实践论坛精彩回顾来啦
他介绍道，申万宏源联合实验室，旨在推进灵活弹性、集约高效的技术底座，支撑信创改造环境下探索成熟可靠的极速交易模式，保持极速交易系统的速度优势和技术优势。中科驭数异构计算研发总监耿嘉带来《超低时延数据处理平台 基于HLS的策略加速开发实践》，针对金融策略加速场景，分享基于HLS（高层次综合）的异构计算加速核研发流程及实践，并介绍中科驭数自主研发的NDPP超低时延数据处理平台的集成方法，既能通过自研硬件底座实现低时延性能提升，二次开发功能也能便于金融业内以软件开发背景为主的从业者做策略加速的开发实践。
2024-01-22 11:44:25
937
原创 首个交通场景实例 中科驭数向重庆交开投交付网络DPU卡解决方案
即日起，中科驭数KPU SWIFT®-2200N S产品将正式应用于重庆交开投数字平台！
2023-12-26 11:28:38
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人