爱串门的小马驹博客

利用分页/分块存储的思想，将一个长序列的key vlaue缓存，分成多个块进行存储。解决tokens序列长度未知，动态变化，连续存储的问题。降低显存占用，提升并行处理的序列数量，提高处理速度。 1.1 VLLM pageattention出现的原因 推理框架 Efficient Memory Management for Large Language_哔哩哔哩_bilibili1.2 Paged Attention VLLM核心思想 原理 推理框架_哔哩哔哩_bilibiliVLLM pagedattent

原本准备看一下DeepSpeed如何对接使用NCCL的，如何初始化通信后端的，没想到。瞬间傻在原地。