- 博客(6)
- 收藏
- 关注
原创 Agent Memory(上):记忆的形态、功能与代表性路径
在本篇中,我们从宏观结构到具体机制,对 Agent Memory 的基础框架进行了系统化梳理。如何在有限上下文中维持有效的短期状态表示;如何在跨会话场景中构建可检索、可复用的长期知识链路。从这些方案中可以看到,Agent Memory 的关键不在于“存得更多”,而在于选择性保留、结构化组织、面向任务的可复用性。REFERENCE[1] [2](2025|NUS&人大&复旦&北大,Agent,LLM,RAG,上下文,记忆形式/功能/动态)AI Agent时代的记忆:综述[3]
2026-01-20 11:26:24
178
原创 “多元算力”推理生态的观察和思考
作者:JMX、TZY、ZSL、YFC from DeepLink Group @ Shanghai AI Lab。
2026-01-15 18:49:45
547
原创 国产芯片上如何排查大模型精度问题?干货经验分享!
我们使用了逐算子、逐 module 层精度对比工具,以及 loss 曲线比对的方式,排查分析了大模型微调时下游评测精度在 A2 和 CUDA 对不齐的问题。经分析发现和rms_norm存在精度问题,在使用非和使用组合的rms_norm后,loss 曲线可以和 CUDA 对齐,且下游评测任务的平均得分和 CUDA 基本一样。如果你喜欢我们的内容,欢迎我们!也欢迎在评论区与我们互动!你的支持是我们持续创作的动力!
2026-01-14 19:04:19
591
原创 LightRFT:轻量全模态微调RL框架,显存利用率飞跃!
"开源不仅是一种开发方式,更是一种先进的生产力协作模式"。联创团队将LightRFT开源,正是希望通过社区的力量,让RFT技术变得更普惠、更易用。目前项目已在GitHub开放全部源码,包含详细的中文文档、示例代码和问题解答等。如果你正在寻找一款靠谱的RFT框架,或者想参与开源项目积累经验,不妨试试LightRFT——star、fork、提issue,都是对开源项目最好的支持~ 也欢迎大家在评论区分享你的使用体验!
2026-01-12 13:59:14
969
原创 RL 训练系统显存优化探究
本文针对强化学习训练中的显存瓶颈问题,提出了三种优化方案:1)通过循环计算方式优化logprob函数,将显存占用从4.6GB降至1.2GB;2)采用FlashAttention技术,进一步将显存占用降至96KB;3)使用liger_kernel优化基础算子,整体显存从67.2GB降至52.9GB。针对长序列大批次训练中logits占用过大问题(如16×10000批次占用45.3GB),提出fused_linear_logprob方案,通过重构计算逻辑避免保存logits,在保持计算速度的同时显著降低显存占用
2026-01-07 20:16:38
608
原创 DeepLink来了!邀你一起解锁 AI 开放计算新可能
DeepLink团队正式入驻,为大家带来AI 算力、软硬件适配等领域的前沿科技信息和相关讨论。欢迎大家关注并与我们多多讨论!
2026-01-06 12:09:06
529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅