本文介绍了大语言模型的基本结构，包括transformer block和prefill、decoding两个推理阶段。讨论了推理过程中的关键衡量指标，如吞吐量、首字延迟、延迟和QPS，并强调了任务调度在提高QPS中的重要性。最后，概述了LLM推理的子过程，如tokenizer、computing、detokenize和sampling。
1.大语言模型的基本结构
transfomer block：
输入--->正则化-->qkv三个矩阵层（映射到三个不同空间中)---->q,k,v之后self attention进行三0合一---->线性映射，正则化。
2.大语言模型的推理
目前主流的语言大模型都采用decoder-only的结构，其推理过程由两部分组成：
（1）prefill阶段
prefill会生成针对这个用户的输入生成缓存。
prefill截断推理示意图，一般hidden dim是4096。
q直接送入self atention Matricq指的是矩阵乘k的结果，matrick指矩阵乘k的结果。。。等等（k需要先做转置）。
整个self attention就是两次矩阵乘法和一次softmax。Matrixq和matrixk先做矩阵乘法获得Matrixqk，对Matrixqk做softmax，之后qk矩阵和matrixv做矩阵乘法，最终获得self att
最低0.47元/天 解锁文章
3327
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
