- 博客(2)
- 收藏
- 关注
RSS订阅原创 AUTODL部署2
装ModelScope包: ModelScope 是一个模型中心，我们使用它来下载模型。运行代码，成功后会在运行代码的终端响应回复，运行vLLM的终端回响应200状态码。注：启动了vLLM后需要在AutoDL再开启一个终端运行以下指令！按照以上设置并启动，打开网页应该是配置好了模型的情况。使用modelscope下载模型。0.确认python版本并更新。使用代码调用vLLM推理服务。设置并启动openwebui。1.更新apt-get版本。使用vLLM启动推理服务。下载openwebui。
2025-10-31 00:08:50
324
原创 AUTODL部署
安装ModelScope包: ModelScope 是一个模型中心，我们使用它来下载模型。运行代码，成功后会在运行代码的终端响应回复，运行vLLM的终端回响应200状态码。注：启动了vLLM后需要在AutoDL再开启一个终端运行以下指令！按照以上设置并启动，打开网页应该是配置好了模型的情况。1.下载Deepseek模型（如果未提供）使用modelscope下载模型。使用代码调用vLLM推理服务。设置并启动openwebui。使用vLLM启动推理服务。先创建model文件夹。下载openwebui。
2025-10-30 22:36:20
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人