分享
超级会员免费看
开源技术探险家
代码玩得6，Bug见我就溜！
展开
-
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）
qwen-7b-chat集成vllm，流式输出原创 2024-01-10 14:07:27 · 14865 阅读 · 11 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（二）
gunicorn+flask构建AI服务原创 2024-01-10 15:36:49 · 2391 阅读 · 8 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（三）
supervisor提升服务的稳定性原创 2024-01-11 10:00:00 · 2836 阅读 · 2 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（四）
鉴权和限流提升AI服务的安全性和稳定性原创 2024-01-11 13:24:50 · 1325 阅读 · 1 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（五）
定时任务处理隐藏盲点原创 2024-01-12 09:45:00 · 811 阅读 · 5 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（六）
使用spacy改变模型自我认知原创 2024-01-13 09:30:00 · 2251 阅读 · 3 评论 -
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（七）
AI服务性能优化原创 2024-01-14 09:30:00 · 1410 阅读 · 2 评论 -
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（八）
qwen1.5-7b-chat集成vllm，流式输出原创 2024-03-01 12:21:36 · 2133 阅读 · 3 评论 -
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（九）
qwen1.5-7b-chat集成vllm，构建与OpenAI-API兼容的API服务原创 2024-03-04 09:30:00 · 1561 阅读 · 4 评论 -
开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势（十）
Qwen2-7B-Instruct集成vllm，流式输出原创 2024-06-11 13:37:26 · 1810 阅读 · 1 评论 -
开源模型应用落地-LangChain高阶-集成vllm-QWen1.5（一）
通过LangChain和Vllm的结合，可以更好地处理对话，提供更智能、更准确的响应，从而提高对话系统的性能和用户体验原创 2024-04-23 11:33:52 · 2176 阅读 · 1 评论 -
开源模型应用落地-LangChain高阶-集成vllm-QWen1.5（二）
通过LangChain和Vllm的结合，可以更好地处理对话，提供更智能、更准确的响应，从而提高对话系统的性能和用户体验原创 2024-04-24 15:18:08 · 10894 阅读 · 1 评论