大模型使用-提示学习-上下文学习_大模型示例选择怎么做-CSDN博客

一、上下文学习定义

提示内容中包含问答示例（或者思维链）及问题

二、示例设计

1、示例选择

基于相关度排序方法
- 原理：按照与提问相似度进行排序
- 方法：基于k近邻（k-NN）的相似度检索算法，判断相似度
基于集合多样性方法
- 原理：从一个集合中选出具有代表性、信息覆盖好的示例
- 方法：
  - 经典启发式MMR算法
  - 基于行列式点过程的DPP算法
基于大模型的方法
- 原理：使用大模型评估
- 方法：
  - 通过计算加入当前示例后大模型的性能表现来评估
  - 通过大模型对示例进行打分，基于分数训练一个分类器，然后用分类器进行评估

2、示例格式

人工标注格式

（1）包含输入与输出的示例格式：
输入：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？
输出：11。
示例模板：问题：{输入} 答案：{输出}
具体示例：问题：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？答案：11。
（2）增加任务描述的示例格式：
输入：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？
输出：11。
示例模板：下面是一个小学数学问题。问题：{输入} 答案：{输出}
具体示例：下面是一个小学数学问题。问题：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？答案：11。
（3）增加思维链的示例格式：
输入：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？
输出：让我们一步一步地思考。罗杰一开始有5 个球，2 罐每罐3 个网球就是6个网球。5 + 6 = 11。因此答案是11。
示例模板：下面是一个小学数学问题。问题：{输入} 答案：{输出}
具体示例：下面是一个小学数学问题。问题：罗杰有5 个网球，他又买了2 罐网球，每罐有3 个网球。他现在有多少个网球？答案：让我们一步一步地思考。罗杰开始有5 个球，2 罐每罐3 个网球就是6 个网球。5 + 6 = 11。因此答案是11。

自动生成格式
- 原理：借助大模型的上下文学习能力，指导其自动生成示例模板

请根据输入输出自动撰写一段指令：
示例输入： Sentence: This house is surprisingly not constructed very well, and you probably need more money to fix it after you buy it. If you ask me, I would suggest you to consider other candidates.
示例输出：This house does not seem to be constructed well, so you may need to spend more money to fix it after you purchase it. I would suggest that you look at other properties.
示例指令：Suggest a better and more professional rephrasing of the following sentence.
示例输入：
Application Form:
Name:___ Age:___ Sex:___
示例输出： Name: John Doe. Age: 25. Sex: Male
示例指令： I am looking for a job and I need to fill out an application form. Can you please help me complete it?
示例输入： [10, 92, 2, 5, -4, 92, 5, 101]
示例输出： [-4, 2, 5, 5, 10, 92, 92, 101]
示例指令： Sort the given list ascendingly.
输入： Address: 123 Main Street, City: San Francisco
输出： 94105
指令： Given an address and city, come up with the zip code.