
领取java全套资料
文章平均质量分 90
m0_74824517
这个作者很懒,什么都没留下…
展开
-
vllm源码解析(一):整体架构与推理代码
vlllm官方代码更新频发,每个版本都有极大变动, 很难说哪个版本好用.第一次阅读vllm源码是0.4.0版本,对这版圈复杂度极高的调度代码印象深刻0.4.1对调度逻辑进行重构,完全大变样, 读代码速度快赶不上迭代的速度了。现在已经更新到0.5.4, 经过长时间观察,发现主要的调度逻辑基本也稳定了下来, 应该可以作为一个固话的版本去阅读。本文解读依据vllm 0.5.4版本. 没有修改任何代码,大家不必担心夹带私货!打算以六篇文章的篇幅剖析vllm,希望能对大家有所帮助。原创 2024-12-02 23:20:28 · 1608 阅读 · 0 评论 -
springboot系列教程(三十一):springboot整合Nacos组件,环境搭建和入门案例详解
Nacos 是构建以“服务”为中心的现代应用架构,如微服务范式、云原生范式等服务基础设施。聚焦于发现、配置和管理微服务。Nacos提供一组简单易用的特性集,帮助开发者快速实现动态服务发现、服务配置、服务元数据及流量管理。敏捷构建、交付和管理微服务平台。原创 2024-12-02 23:02:32 · 1644 阅读 · 0 评论