2025年6月6日,由存算一体开发者社区与上海交通大学联合主办的 “大模型推理需求下的计算生态链变革” 专场活动在上海交通大学闵行校区顺利举办。本次活动汇聚了算能、OpenDataLab、知存科技、天翼云等企业专家,围绕大模型时代的算力架构创新、数据生态构建及产业实践展开深度探讨,推动产学研用协同发展。以下为核心内容回顾:
一、存内计算架构:突破算力瓶颈的硬件革新
知存科技数字设计专家邢小地在《硬件架构创新:存内计算架构下的数字计算生态》演讲中指出,大模型发展面临功耗、带宽、成本、容量四大瓶颈,传统冯·诺依曼架构的 “存储墙” 问题尤为突出(DDR功耗占比达74%,数据搬运时间是计算的89倍)。存内计算(CIM)通过将计算单元嵌入存储阵列,实现 “存储即算力”,可显著提升算力密度并降低功耗。
- 技术优势:存内计算架构支持向量 - 矩阵乘法(如GEMM运算)的原位计算,避免数据频繁搬运。例如,知存科技的存算核在28nm工艺下即可实现与12nm数字核相当的算力密度,且单位面积功耗更低。
- 应用场景:适用于神经网络的Conv层推理及大模型的Linear层,尤其在边缘智能、自动驾驶等实时性要求高的场景中优势显著。通过3D堆叠技术,存算阵列与数字控制层协同,可进一步提升算力。
二、OpenDataLab:构建大模型时代的数据基座
OpenDataLab数据平台专家叶奕谷分享了《开源数据与工具协同,OpenDataLab构建大模型时代的创新基座》,强调数据在大模型发展中的核心地位:
- 数据生态:OpenDataLab已开源7700+数据集,容量超180TB,覆盖文本、图像、视频等多模态数据,支持大模型预训练、微调、评测全生命周期。例如,“万卷・丝路” 多语言数据集涵盖8个语种,数据总量超800B Tokens,助力跨文化大模型研发。
- 工具链赋能:开源数据提取工具MinerU可高效解析PDF/PPT等文档,智能标注工具LabelU支持多模态数据标注,大幅提升数据处理效率。通过与高校、企业合作,OpenDataLab推动数据标准化与开源共享,降低大模型开发门槛。
三、SophNet极速升级,赋能大模型推理
算能云端产品线负责人王少泽先生随后带来《唯快不破:SophNet产品焕新升级》的主题分享。他指出,在大模型时代,SophNet通过多项技术创新实现性能与效率的飞跃。产品依托自主研发的TPU和RISC-V架构,构建起覆盖云边端的全场景算力矩阵,在城市运营、智能制造等多元场景中表现出色。此次升级进一步优化推理速度与稳定性,相比竞品展现出显著优势,例如在推理速度上,SophNet普速版API平均推理速率为45 token/s,而极速版API更是达到150 token/s,为大模型推理提供了强劲动力。
四、国产集群实战,超大规模训练优化
天翼云智算产品线研发专家范顺国先生分享了《国产万卡集群实战:息壤超大规模训练实践与性能优化》。他介绍天翼云息壤训推服务平台为大模型训练、推理、应用提供了全栈工具链支持,具备高效的算子加速与模型优化能力。在万卡训练实战中,团队克服了网络、存储、调度等多方面挑战,通过创新的断点续训机制、性能调优策略以及异步断点保存等技术,实现了大规模集群的稳定高效运行。
五、生态联动:从技术到应用的全链条整合
本次活动首次披露存算一体开发者社区的生态规划:
- 开发者支持:社区将推出存内计算开源工具链,提供实训营与技术竞赛,降低硬件开发门槛。例如,2025年 “知存科技杯” TensorCore赛题聚焦轻量化AI模型优化,吸引高校与企业开发者参与。
- 产业合作:社区联动智谱AI、Coze等企业,探索存内计算在具身智能、多模态模型中的应用场景,并与AWS、GitCode等平台共享资源,扩大技术影响力。
- 行业前瞻:聚焦于存算一体技术发展,着眼于AI端侧前沿发展态势,打造新一代AI硬件开发者社区。
六、未来展望:算力与数据驱动的AI生态变革
大模型时代的计算生态链正从“模型中心” 转向 “数据与算力协同”。存内计算架构与开源数据平台的结合,将推动AI硬件从通用化走向定制化,加速大模型在垂直领域的落地。正如活动嘉宾所言:“只有打破硬件、软件、数据之间的壁垒,才能真正释放大模型的生产力。”
关于存算一体开发者社区:
聚焦开发者需求,构建AI全链路生态,推动存算一体技术普及。
依托行业前沿算力架构,首发技术开源与实战训练营,提供高性能硬件底座与全栈工具链。联合高校、研究院及企业,打造新一代AI硬件开发者社区,覆盖“技术研发—实践—产业应用”全周期。通过开源生态、沉浸式实训与产学研协同,降低技术门槛,加速算力创新商业化。聚焦智能驾驶、工业质检等场景,助力开发者实现从创意到落地的价值跃迁,共塑存算一体新未来。
加入社区,解锁算力开发新体验!