系统评估和优化

1、评估LLM应用

对于LLM应用的评估和优化传统思路就是：初期在小样本集上开展验证，人工设计的评估标准对构建的prompt进行打分，收集bad case并进一步对prompt进行优化；等prompt稳定后，在大批量数据集上再构建自动化的评估流程。

2、大模型的评估方法

里面比较独特的就是大模型评估，因为需要一个能力比被评估模型更强的模型来执行。

3、优化生成方法

这部分主体就是将大模型直接回答一个问题拆分成细分步骤，这样的话可以减少prompt里各种语义耦合增加的难度。

4、优化检索方法

这部分就是对知识库的检索进行优化，包括优化query和知识库里的向量，以及两者之间的匹配方法。