- 博客(4)
- 收藏
- 关注
RSS订阅原创 PD 分离架构下的vLLM代码流程梳理
本文主要基于源码，解析vLLM如何实现PD分离，并深入剖析单次对话请求的完整流转路径和涉及的Proxy、LLM Engine、Scheduler和KV Cache Manager（PagedAttention、PrefixCache）等。
2025-12-29 19:05:22
849
原创 云原生分布式训练技术综述
正如上文所述，kubernetes原生控制器支持的资源类型有限，但是kubernetes提供了很好的扩展方式，用于用户自定义资源类型和对应的编排控制器。CoreOS开源的Operator框架提供了很好的脚手架，提高了编码效率。**定义资源类型（Custom Resource Definition）：**它其实只是往etcd数据库注册了一条数据，用于声明定义的资源类型、分组等信息，以下为TFJob的示例：metadata:spec:# 资源分组names:# 复数# 单数# 资源名称。
2024-06-15 15:27:00
2986
原创 PySide6+CnOCR 做的缝合OCR软件
具体代码见 https://github.com/loresding/donkeyOCR。pyside6 OCR软件。
2023-04-04 23:08:40
686
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人