- 博客(4)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（23）--- 长度外推
LLM的进步正在推动更长的上下文和广泛的文本生成，这些模型在数百万个标记的序列上进行训练。这种趋势给系统内存带宽带来了压力，导致执行成本增加。多轮对话场景的 LLMs 有几个难点：1. 注意力机制的\(O(n^2)\)计算量；2. 解码阶段缓存 KV 需要耗费大量的内存；3. 流行的 LLMs 不能拓展到训练长度之外。在本文，我们来讨论第三点。文本续写和语言延展是人类语言的核心能力之一，在有限的学习资源下，人类可以通过理解它们的组成部分和结构来理解潜在无限长度的话语。
2025-05-31 14:42:33
157
转载 Unity FPSSample Demo研究
阅读目录(Content)1.前言1.1.附带文档与主配置界面2.GameLoop2.1 GameLoop触发逻辑3.网络运行逻辑3.1Client -ClientGameLoop3.1.1Client -NetworkClient内部逻辑3.1.2 Client - NetworkClient外部调用3.1.3Client -m_NetworkClient.Update3.1.4C...
2024-09-13 06:29:07
394
转载 IPQ9574 and IPQ8072: Next-Gen Industrial WiFi Chips Explained
Unveiling the Mysteries of IPQ9574 and IPQ8072: Next-Gen Industrial WiFi Chips ExplainedIn the ever-evolving world of wireless communication, staying ahead of the...
2024-08-07 04:02:04
191
转载 FFmpeg开发笔记（四十二）使用ZLMediaKit开启SRT视频直播服务
《FFmpeg开发实战：从零基础到短视频上线》一书在第10章介绍了轻量级流媒体服务器MediaMTX，通过该工具可以测试RTSP/RTMP等流媒体协议的推拉流。不过MediaMTX的功能实在是太简单了，无法应用于真实直播的生产环境，真正能用于生产环境的流媒体服务器还要看SRS或者ZLMediaKit。ZLMediaKit是...
2024-08-02 03:32:03
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人