自定义AI模型的调优、部署与评测

为了让大语言模型的AI能力更贴近业务需求，本文详细介绍了在阿里云百炼创建自定义模型的最佳实践。即便不清楚大模型的技术细节，您也能按照本篇的操作指引创建一个有效的自定义模型，从而轻松地为业务场景添加大模型服务能力。

自定义模型概述

自定义大模型是指基于通用大语言模型，通过微调和训练，能更好地适应特定领域或任务的大语言模型。

为什么选择自定义模型？

1. 提高特定领域的准确性：通用的大语言模型尽管强大，但在处理特定领域的任务时，可能会因为缺乏领域特定知识而表现不佳。自定义大语言模型通过领域特定的数据进行重新训练，可以显著提高在该领域的表现和准确性。

2. 增强模型的适用性：自定义大语言模型可以根据特定应用场景的需求进行微调，使其更好地适应特定任务。例如，在客户服务中，自定义模型可以更好地理解和回应客户的特定问题，提高客户满意度。

3. 节约开发时间和成本：利用现有的大语言模型进行定制化训练，比从头开发一个模型要节约大量时间和成本。您可以快速部署自定义模型，满足业务需求。

4. 增强品牌和用户体验：自定义大语言模型可以根据企业的品牌语言风格进行调整，确保输出内容的一致性和品牌调性，从而提升用户体验和品牌形象。

创建自定义模型的流程

创建自定义模型涉及三个主要步骤：模型调优、模型部署、模型评测，以及三个辅助步骤：训练数据准备、评测模板设计、调整训练策略。

1. 模型调优阶段：模型会“学习”大量训练数据的语言特征，从而理解并生成相似的自然语言。开始模型调优之前，您需要做一些训练数据准备工作，包括数据收集、数据清洗、数据集划分等操作。您需按照训练新模型向导的指引配置模型调优。根据配置的训练超参数（超参数是指在模型调优前需要提前设定的参数，包括学习率、迭代次数等），阿里云百炼将自动训练您选择的预置模型。一般情况下，训练过程是自动完成的，无需进一步操作。

2. 模型部署阶段：您需要将自定义模型部署到独占实例上，然后调用或评测自定义模型。部署新模型向导将帮助您配置模型部署。根据配置的自定义模型规格和资源配置方式，阿里云百炼将计算预估价格。待您确认价格后，阿里云百炼会自动部署模型，一般无需干预。完成部署后，您便可以在代码或评测中配置自定义模型。

3. 模型评测阶段：您可以评测已部署的自定义模型。您可以按照创建评测任务向导的指引配置模型评测。自定义模型不涉及评测模板设计环节。根据您选择的评测方式、数据和维度，阿里云百炼将自动完成评测，一般无需干预。

说明

如果对模型的评测结果不满意，您还可以调整训练策略（选择不同的预置模型作为基础模型、扩充训练数据样本、选择不同的超参数配置等），再次完成训练、部署和评测。您可以重复整个流程，直到模型的评测结果满足预期。

说明

在阿里云百炼，完成调优的模型必须部署后才能调用和评测。因此，您需要首先完成模型部署，方可继续评测模型。

前提条件

前置知识

您可能需要了解机器学习、深度学习和自然语言处理的基础概念。如果不了解这些概念，您也可以遵循本实践文档的指引完成整个创建流程。

工具和资源

您需要开通阿里云百炼大模型服务平台，并确认账号余额充足，以免无法创建自定义模型。

计费信息

创建自定义模型时，可能涉及多种计费项，包括但不限于模型调优、模型部署和模型评测。计费规则请参考产品计费。

训练数据准备

在开始训练前，您需要完成训练数据的准备工作。这些准备工作包括：从业务场景中收集具有代表性的业务数据，并转换为问答对的形式（数据收集）；上传训练数据、评测数据、验证数据（数据上传）；使用阿里云大模型服务平台百炼提供的数据清洗工具和数据增强工具，提升训练数据的质量。

1. 数据收集

您可以从各种信息来源中发掘有业务价值的数据，并将这些数据编排成特定结构。您在完成数据收集时，需仔细考虑以下策略：

• 来源多样化：从书籍摘录、学术论文、新闻报道和专业网站等多种来源收集数据，来确保模型的适用范围更广，可以处理不同类型的问题或理解多种表达方式。

• 质量控制：数据质量决定了模型质量。质量高、数量足的数据可以让模型学得更好，表现更优。

• 平衡性考量：确保问题类型、难度和答案的分布均匀，避免模型偏向某一特定类型的数据，导致训练偏差。

在阿里云百炼，您需要将收集到的数据编排成“Prompt-Completion”格式，便于平台解析和训练。为了尽可能提高训练效率，我们建议至少准备500条训练数据，要求如下：

• 文本分割：合理分割长文本，确保每个Prompt-Completion对聚焦于单一明确的主题，便于模型学习。

• 脱敏处理：移除个人身份信息、敏感词汇或不适宜内容，保证数据合规与安全。

说明

小贴士：构建聊天机器人的数据收集

假设您想创建一个智能聊天机器人，能够回答客户提出的问题。

在数据收集阶段，您的目标是：为聊天机器人收集学习材料。

数据来源：

• 用户聊天记录：比如网站上的在线客服聊天记录。

• FAQ文档：公司网站上的常见问题解答列表。

• 客户服务邮件：客户发送给客服团队的问题和相应的回复。

数据示例：

• 用户聊天记录：导出在线客服系统中的聊天记录，可以包括客户问题和客服回复。例如：

  客户：你们的退货政策是什么？
  客服：我们的退货政策是在购买30天内可以无条件退货。

• FAQ文档：收集网站上列出的常见问题及其答案。例如：

  问：如何更改我的密码？
  答：请点击“设置”，然后选择“更改密码”。

• 客户服务邮件：导出邮件系统中跟客户的来往邮件。例如：

  客户邮件：我的订单没有收到，怎么办？
  客服回复：我们很抱歉，请提供您的订单号，我们会尽快处理。

数据编排：