开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker-OpenResty（三）

一、前言

    目前，大语言模型已升级至Qwen2.5版本。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。

    另外，使用 Docker 实现便捷测试成为一种高效的解决方案。通过将模型及其运行环境封装在 Docker 容器中，开发者可以确保模型在不同环境下的行为一致性，避免由于环境差异导致的不可预见的错误。Docker 的轻量级特性使得测试可以迅速部署和迭代，不论是本地测试还是在云端的部署，都能通过一键命令快速拉取和启动所需的容器。

    上一篇“开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）”我们学习了如何使用Docker快速体验vLLM与Qwen2.5系列模型的整合，在本篇中，我们会集成OpenResty，实现多个容器并行服务，从而实现按需灵活扩展。

    示意图如下：