qq_31293897的博客

原创 03_PagedAttention实现原理

PagedAttention是通过高效利用现存, 避免显存浪费, 达到提升LLm模型推理吞吐量的效果以A100为例, 推理一个13B的模型, KV Cache占现存比例在30%以上, 随着batch size增大, 传统的大模型推理服务显存占用迅速上升, vllm则是有一个相对平缓很多的显存上升曲线, 同样显存占用下的每秒钟tokens吞吐量是传统方式的大概3倍。

原创 00_images

原创 07_TRPO

TRPO算法通过引入信任区域来解决深度策略网络训练中的步长问题，确保策略更新时的安全性。其核心思想是在新旧策略的目标函数差异上建立约束，利用优势函数和占用度量进行优化。公式推导表明，目标函数之差可以表示为新旧策略在状态-动作空间中的优势期望，并通过重要性采样实现策略改进。该方法避免了传统策略梯度算法因过大更新步长导致的策略性能骤降问题，为深度强化学习提供了更稳定的训练机制。

原创 06_Actor-Critic算法

gEt0∑T​ψt​∇θ​logπθ​at​∣st​​​ψt​at​ψt​Qπθ​st​at​)θVs)Asa)Aπθ​st​at​​Qπθ​st​at​−Vπθ​st​≈rt​γVπθ​st1​−Vπθ​st​​​rt​Lω21​rγVω​st1​−Vω​st​2r。

原创 05_策略梯度算法

JθEs0​​Vπθ​s0​)]πθ​θJθ)Es0​​]s0​∇θ​Jθ​∝s∈S∑​νπθ​sa∈A∑​Qπθ​sa∇θ​πθ​a∣ss∈S∑​νπθ​sa∈A∑​πθ​a∣sQπθ​saπθ​a∣s∇θ​πθ​a∣s​Eπθ​​Qπθ​sa∇θ​logπθ​。

原创 04_DQN算法

QsaQsaαrγa′∈Amax​Qs′a′−Qsa​​rγmaxa′∈A​Qs′a′)Qsa)Qsa){(si​ai​ri​si′​)}ω∗ωargmin​2N1​i1∑N​Qω​si​ai​−ri​γa′max​Qω​si′​a′2​​ωω∗L2N1​∑iN​yi​−yi。

原创 03_时序差分算法

原创 02_动态规划算法

a′sa′。

原创 01_马尔可夫决策过程

⟨SP⟩Si​。