一键开启 GPU 闲置模式，基于函数计算低成本部署 Google Gemma 模型服务

1. 背景信息

Google 在 2024 年 02 月 21 日正式推出了自家的首个开源模型族 Gemma ，并同时上架了四个大型语言模型，提供了 2B 和 7B 两种参数规模的版本，每种都包含了预训练版本（base 模型）和指令微调版本（chat 模型）[1]。根据 Google 的技术报告，本次开源的 Gemma 在问题回答、合理性、数学、代码等方面的性能均超越同参数量级的其他开源模型。

数据来源

函数计算作为阿里云上的 Serverless 计算服务，持续在 Serverless GPU 方面投入研发，为用户提供性价比极高的 GPU 实例。通过采用 Serverless GPU 的闲置计费模式（目前正处于公测阶段），用户得以迅速部署并上线自己的大型语言模型（ LLM ）服务。为了进一步提升用户体验，阿里云函数计算 GPU 平台摒弃了传统的运维需求，提供了多项用户友好的特性，包括但不限于实例冻结、自定义域名等，这些特性极大地简化了使用流程。它们使得用户部署的模型服务可以迅速进入就绪状态，避免了长时间的冷启动过程，确保了快速响应。这些优势有效地解决了 LLM 部署难、弹性差、资源浪费的痛点问题。

本文将介绍如何使用函数计算 GPU 实例和函数计算 GPU 首创的闲置模式低成本并快速部署 Gemma 模型服务。

2. 前提条件

已开通函数计算服务，详情请参见开通函数计算服务[2]。

GPU 闲置计费公测资格申请：

【公测 - 申请使用[5]】Serverless GPU 闲置计费当前为邀测功能，如需体验，请提交公测申请或联系客户经理申请。

3. 操作步骤

使用函数计算部署 LLM 应用过程将产生部分费用，包括 GPU 资源使用、vCPU 资源使用、内存资源使用、磁盘资源使用以及函数调用的费用。具体信息，请参见费用说明[3]。

3.1 创建应用

1. 下载模型权重，您可以选择从 huggingface 或者 modelscope 中进行下载，本文选择 Gemma-2b-it 作为示例进行部署。

Gemma 模型系列现已在 ModelScope 社区开源，包括：
1.Gemma-2b： https://modelscope.cn/models/AI-ModelScope/gemma-2b
2.Gemma-2b-it： htt