- 博客(86)
- 收藏
- 关注
RSS订阅原创 如何利用DPU加速Spark大数据处理？ | 总结篇
近年来，随着存储硬件的革新与网络技术的突飞猛进，如NVMe SSD和超高速网络接口的普及应用，I/O性能瓶颈已得到显著改善。然而，在2020年及以后的技术背景下，尽管SSD速度通过NVMe接口得到了大幅提升，并且网络传输速率也进入了新的高度，但CPU主频发展并未保持同等步调，3GHz左右的核心频率已成为常态。
2024-04-02 13:46:32
1034
原创 中科驭数DPU技术开放日秀“肌肉”：云原生网络、RDMA、安全加速、低延时网络等方案组团亮相
DPU技术开放日既是对DPU技术应用的典型方案展示，也是DPU技术在重要细分场景走向成熟的标志。
2024-04-01 11:59:42
1321
原创 明天线上见！DPU构建高性能云算力底座——DPU技术开放日最新议程公布！
DPU技术开放日DPU技术开放日是由中科驭数发起的DPU技术沙龙活动，旨在关注DPU最新技术发展和实践经验。借此平台，我们既有庖丁解牛式的DPU核心技术方案解析，也有着眼于算力系统的技术实现和最佳实践，深入探讨DPU在超低时延网络、云原生网络、智算中心网络等领域的应用，推动国内算力基础设施的技术探讨和发展。中科驭数DPU技术开放日热忱欢迎每一位技术开发者、以及对DPU感兴趣的伙伴们，与我们一起交流经验、分享见解!
2024-03-28 19:37:47
177
原创 Spark基于DPU Snappy压缩算法的异构加速方案
上图所示为Spark SQL的一个涉及FileScan、Shuffle、Aggregate、OrderBy计算的完整数据流转过程，Spark SQL的数据处理首先需要读取HDFS分布式文件存储系统中的Snappy压缩文件，然后会对Snappy压缩文件进行解压缩处理，从而得到计算所需的数据。对于系统整体而言，压缩解压缩计算的输入数据和输出数据，如果需要传输到CPU继续做计算，则有额外的PCIe数据传输的时间损耗，由于不同的数据量及压缩比带来的整体效果差别较大，所以以下测试数据仅供参考。
2024-03-25 17:08:23
989
1
原创 RDMA技术在Apache Spark中的应用
在当今数据驱动的时代，Apache Spark已经成为了处理大规模数据集的首选框架。作为一个开源的分布式计算系统，Spark因其高效的大数据处理能力而在各行各业中广受欢迎。无论是金融服务、电信、零售、医疗保健还是物联网，Spark的应用几乎遍及所有需要处理海量数据和复杂计算的领域。它的快速、易用和通用性，使得数据科学家和工程师能够轻松实现数据挖掘、数据分析、实时处理等任务。然而，在Spark的灿烂光环背后，一个核心的技术挑战一直困扰着用户和开发者 -- Shuffle过程中的网络瓶颈。
2024-02-28 14:38:16
1025
原创 基于DPU和HADOS-RACE加速Spark 3.x
通过把Spark的计算卸载到DPU加速器上，在用户原有代码无需变更的情况下，端到端的性能可以得到2-5倍的提升，某些算子能达到43倍性能提升，同时CPU资源使用率从60%左右下降到5%左右，显著提升了原生SparkSQL的执行效率。DPU展现了强大的计算能力，对于端到端的分析，会有一些除去算子之外的因素影响整体运行时间，包括磁盘IO，网络Shuffle以及调度的Overhead。这些影响因素将来可以逐步去做特定的优化，例如：1. 算子的Pipeline执行。
2024-02-23 18:52:18
1033
原创 申万宏源：证券低时延交易系统全链路自主可控创新实践 |论坛实录
作为证券机构代表及申万宏源低时延实验室的技术负责人，张宏在会上分享了申万宏源联合实验室在信创生态下的探索实践，以多组实验室业务系统测试结果详实地呈现了当前信创低时延基础设施架构演进成果和市场图谱。
2024-01-30 16:28:33
419
原创 国产低时延技术创新与实践分享 | 2024低时延技术创新实践论坛精彩回顾来啦
他介绍道，申万宏源联合实验室，旨在推进灵活弹性、集约高效的技术底座，支撑信创改造环境下探索成熟可靠的极速交易模式，保持极速交易系统的速度优势和技术优势。中科驭数异构计算研发总监耿嘉带来《超低时延数据处理平台 基于HLS的策略加速开发实践》，针对金融策略加速场景，分享基于HLS（高层次综合）的异构计算加速核研发流程及实践，并介绍中科驭数自主研发的NDPP超低时延数据处理平台的集成方法，既能通过自研硬件底座实现低时延性能提升，二次开发功能也能便于金融业内以软件开发背景为主的从业者做策略加速的开发实践。
2024-01-22 11:44:25
846
原创 首个交通场景实例 中科驭数向重庆交开投交付网络DPU卡解决方案
即日起，中科驭数KPU SWIFT®-2200N S产品将正式应用于重庆交开投数字平台！
2023-12-26 11:28:38
191
原创 集众力、汇众智，2023 中国计算机大会 DPU技术论坛成功举办
论坛主席、中科院计算所研究员、博士生导师、中科驭数创始人、CEO鄢贵海表示，中科驭数已经连续举办了四届DPU论坛，论坛主题的设置紧扣了DPU发展中的关键问题，主题从DPU技术发展、软件生态、标准化、延续到应用方案相关的讨论，这些DPU专题论坛是一个集众力、汇众智很好的形式，为DPU的研发、应用、规模化推广等都产生积极的作用和影响。在圆桌论坛环节，主持人鄢贵海、联通研究院王立文、移动研究院王瑞雪、中科驭数曹辉四位嘉宾就DPU的创新性、DPU的落地应用之路、DPU的价值卖点等问题进行了讨论。
2023-10-30 14:55:16
62
原创 拿下国家级信创认证 中科驭数KPU SWIFT-2200N成为国内首款满足金融业严苛要求的DPU产品
与中国人民银行旗下金融信创生态实验室完成兼容测试
2023-10-30 14:04:38
263
原创 中科驭数北京新址揭幕，中关村壹号热土不变
中科驭数自成立以来，一直专注聚焦算力基础设施核心芯片研发，是DPU芯片领域的国家专精特新小巨人企业，是DPU标准的重要推动者和参与者。发展过程中，中科驭数也建立起了一支覆盖芯片设计、软件开发、生产交付、质量管控的芯片全产业链的团队，拥有一流的产品研发能力和技术创新能力。新址启用后，相信更宽敞、现代化的工作区域，也会进一步激发团队的创造活力和工作效率，也为业务拓展带来广阔的可能性。期待在全新的办公环境里，继续加强与数据中心、5G通信、金融计算等领域合作伙伴的协同，期待共同开创产业价值。
2023-10-30 13:59:43
52
原创 提升“硬实力” 中科驭数近期成功拿下CMMI3级国际认证和知识产权管理、信息技术服务管理等6项权威资质认证
加强研发质量体系建设，打造安全可靠高效能DPU芯片
2023-10-30 13:53:44
76
原创 中科驭数KPU FLEXFLOW®-2100R RDMA加速DPU卡正式发布，下一代数据中心互联的“超级高速公路”
期待与您共同探索新型数据中心技术方案！
2023-09-08 15:15:35
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人