Datawhale-动手学大模型应用开发-第五章心得

如何评估和优化大模型（LLM）应用

一、评估大模型应用

在构建基于大型语言模型（LLM）的应用时，重要的步骤之一是验证和优化。相比于传统的AI开发，LLM应用开发更注重迭代验证。你可以快速创建一个基于LLM的应用，并通过少量的样本进行初步验证。随后，通过添加更多的例子（Bad Case）到测试集中，逐步扩大开发集的规模，以不断优化系统性能。

评估大模型应用时，可以采用以下方法：

• 基于样本的测试：即通过增加样本数量来测试并优化系统。
• 自动化评估方法：当测试样本数量较大时，可以使用自动化方法来评估系统的整体性能。

二、大模型评估方法

在具体的大模型应用开发中，一种常见的做法是通过寻找Bad Case并针对性优化。这包括：

• 人工评估：在早期阶段，可以人工评估系统输出的优劣。
• 自动化评估：随着测试样本数量的增加，采用自动化评估方法成为必要。

三、优化生成部分

在RAG（检索增强生成）框架中，优化生成部分通常通过改善Prompt Engineering来实现。例如，通过改进Prompt模板，可以使得系统生成更具体、详细的回答，以提高回答的质量。同时，考虑到不同问题的特性，可能需要对Prompt进行更细致的调整。

四、优化检索部分

优化检索部分关键在于提高检索的准确性和召回率。这可以通过：

• 评估检索效果：使用简单的准确率计算方法或模拟经典搜索任务来评估检索效果。
• 优化检索策略：例如，改进文本切割方式，优化知识库构建，或是通过构建倒排索引来提高检索的相关性和准确性。

通过这些方法，可以系统性地评估和优化LLM应用的各个部分，从而提高整体应用的效果和用户满意度。