计算巢实现大模型微调——如何发布一个微调服务

前言

各位看官，最近是否被大模型相关信息刷屏了呢，铺天盖地的大模型预训练、微调等各种关键词是否让你眼花缭乱呢？在如此热度之下，你有没有想过自己亲自动手部署一个大模型执行训练或者微调呢，或许你曾经尝试过却被某个繁琐的步骤劝退了呢？又或者你是模型的研究人员或开发人员，想要让你的模型服务更多用户、有更大的影响力？如果你有自己的基础大模型供给其他人精调，却苦于难以部署、难以让用户上手使用等各种问题，来试试计算巢吧，你的这些问题都将迎刃而解！

按照传统方式，想要对一个大模型进行微调一共需要以下这些步骤：

首先需要创建云资源或者使用线下资源，然后安装各种GPU驱动和各种依赖环境。接着需要自己编写微调脚本或者找一些开源的微调方法，然后就是一系列的pip install或者conda install。运气好的话，你的微调能够顺利run起来，可是稍有差池，也许就会抛出各类错误让你崩溃。讲到这里有没有勾起你痛苦的回忆呢？没关系，计算巢将为你彻底解决这些烦恼！！！

本文将以ChatGLM高效微调为例，为各位展示在计算巢中如何发布一个能够实现大模型的零代码微调的服务。

服务部署步骤

1. 服务镜像准备

本文是基于ECS镜像进行部署的，所以第一步请在ECS控制台制作包含ChatGLM高效微调代码和运行环境的ECS镜像。接下来请访问计算巢